windows11下的大模型部署 —— 环境准备（组件间版本对应）

已于 2024-05-12 22:54:27 修改
阅读量1.4k 收藏 6
点赞数 5
文章标签： 深度学习 人工智能
于 2024-05-12 22:54:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ken199533/article/details/138770774
版权

1. cuda

更新显卡驱动（windows下安装即可，和wsl共享）：官方驱动 | NVIDIA

显卡驱动版本和cuda版本对应：CUDA 12.4 Update 1 Release Notes (nvidia.com)

下载cuda toolkit（注意Distribution需要选择wsl）：CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developer

2. cuDNN

cuDNN Archive | NVIDIA Developer

根据cuda版本，选择对应的cuDNN进行解压，解压缩后替换cuda目录同名文件夹

3. torch

pytorch/vision: Datasets, Transforms and Models specific to Computer Vision (github.com)

Previous PyTorch Versions | PyTorch

根据python版本，选择torch版本，再根据cuda版本选择合适的pytorch-cuda

4. vllm

安装 — vLLM

因为vllm引入了其他cuda和torch版本，所以如果想使用vllm框架，则建议新建一个conda环境，再安装vllm

tips：清华镜像源 

pip install xxxx -i Simple Indexicon-default.png?t=N7T8https://pypi.tuna.tsinghua.edu.cn/simple

戴天祎
关注
在Win11上部署大模型推理加速工具vLLM
培根芝士的专栏
04-08 8637
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
探索 VLLM：一款高效、灵活的可视化编程环境
gitblog_00057的博客
03-19 599
探索 VLLM：一款高效、灵活的可视化编程环境 vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址:https://gitcode.com/gh_mirrors/vl/vllm 是一个创新的开源项目，旨在提供一个集成了代码编写、测试和可视化的强大平台。该项目以直观的图形界面与现代...
vLLM加速部署LLM
最新发布
九品神元师
09-16 387
目前只支持操作系统（包括子系统），因此环境准备分为 2 部分：Linux 环境准备：我们的操作系统如果是系统，那就无需其他操作。Python 研发环境准备。拉取现成的镜像，直接拉取nvidia现成的镜像拉取成功后启动容器，在容器中进行以下操作。
Windows离线部署vllm
java_Lrui的博客
07-25 1656
由于这个包比较大，在浏览器里点击下载链接右键，提取下载地址，打开迅雷或者其他第三方下载工具，新建下载任务，由于迅雷有国内的CDN加速，一般下载可以跑满带宽。原来需要8个小时的任务，现在几分钟就好了。重启电脑（注意：需要开启 适用于 Liunx 的 Windows 子系统 的设置 才重新启动计算机 如果已开启，则不需要）的 Windows 子系统 的设置（如果未开启，开启之后需要重启电脑）(对于64位系统，版本1903或更高，版本18362或更高。在cmd命令界面查看是否安装成功，出现跟截图一样，则已成功。
windows11下的大模型部署 —— 环境准备（软件及驱动）
ken199533的博客
05-12 415
windows11下部署大模型所需要的准备工作：虚拟机、IDE以及驱动等
在windows11本地部署大模型的记录（OLLAMA、AnythingLLM）
qq_38737204的博客
08-22 2817
应用OLLAMA、AnythingLLM本地部署大模型，并使用GPU运行的记录。
mobilevlm_pytorch图像理解算法模型
qq_27815483的博客
06-26 775
MobileVLM V2为移动端部署而设计，在资源受限的设备上展现出出色的性能，与LLaMA2共享相同分词器，便于知识蒸馏。
PC本地部署vllm gemma-2b
yi_xiansen的博客
06-03 2337
普通电脑配置本地运行小参数量大模型，本地部署LLM
本地部署 vllm
engchina的专栏
12-25 4477
本地部署 vllm
基 于LLM训 练 ChatGlm3大 模 型 部 署 微 调 教 程
weixin_45353903的博客
04-25 975
基于LLM训练ChatGlm3大模型部署微调
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 855
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
模型部署系列——TensorFlow Serving部署模型
AI天才研究院
08-05 1133
2019年，人工智能技术飞速发展，而云计算、容器技术则带来了更加方便和灵活的部署环境。TensorFlow Serving 是 TensorFlow 官方发布的服务化部署工具，它可以将训练好的模型部署到线上环境，提供 HTTP/RESTful API 服务，并且支持多种编程语言，包括 Python、Java、C++等。
AIGC实战——多模态模型Flamingo
盼小辉丶的博客
09-16 3029
Flamingo 是一种视觉语言模型，即它接受交替的文本和视觉数据流(图像和视频)作为输入，并能够以解码器 Transformer 的方式用额外的文本完善提示。其通过视觉编码器和 Perceiver 重采样器将视觉信息输入到 Transformer 中，该编码器能够将输入特征编码为少量的视觉特征。语言模型本身是 DeepMind Chinchilla 模型的扩展，经过调整以融入视觉信息。
电商平台架构设计与部署——微服务架构篇
AI天才研究院
10-02 2898
随着互联网公司产品的不断升级、用户数量的激增、高并发量的出现以及对运营成本的关注，电商平台逐渐成为最具代表性的互联网业务之一。电商平台产品的规模也越来越庞大，对于稳定高效地支撑起百万级甚至千万级日益增长的用户规模，依靠传统单体应用架构就显得力不从心了。因此，基于微服务架构设计模式的电商平台架构改造具有非常重要的意义。其优点主要包括：降低开发复杂度在一个系统中实现多个功能模块的架构拆分，可以将复杂度进一步降低。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 1816
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
【笔记】LVGL在Windows上的模拟器，Visual Studio 2022 + LVGL v8.3 环境搭建
u012988644的博客
10-24 899
LVGL在windows上的模拟器，Visual Studio 2022 + LVGL v8.3环境搭建，便于快速UI开发，LVGL支持Visual Studio 2019及以上版本模拟运行，不用配置环境，打开工程就能直接使用，非常方便。
【LLM】vLLM部署与int8量化
热门推荐
weixin_49816179的博客
01-09 1万+
介绍了vLLM原理并讲解如何支持peft，对不同的decoding methods进行了说明，同时详述了int8量化的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值