自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

ken199533的博客

原创 windows11下的大模型部署 —— 环境准备（组件间版本对应）

因为vllm引入了其他cuda和torch版本，所以如果想使用vllm框架，则建议新建一个conda环境，再安装vllm。根据python版本，选择torch版本，再根据cuda版本选择合适的pytorch-cuda。根据cuda版本，选择对应的cuDNN进行解压，解压缩后替换cuda目录同名文件夹。tips：清华镜像源。

2024-05-12 22:54:09 1407