- 博客(3)
- 收藏
- 关注
RSS订阅原创 如何使用vLLM部署通义千问大模型Qwen?使用docker的Python基础镜像部署大模型
1. 报了显存不足的问题，此时要么是你的GPU的显存无法支持你的模型，要么是你让vLLM占用的显存比例太大，而你的显存没有剩下那么多，此时应降低启动时的--gpu-memory-utilization。--gpu-memory-utilization 0.9 占用90%比例的显存，若显存被其他服务占用则可以降低该值。Qwen/Qwen2.5-32B-Instruct-GPTQ-Int4表示你要下载的模型名。--tensor-parallel-size，选择使用几个GPU。--name 设定容器名。
2024-11-07 17:31:09
226
1
原创 如何安装Vue2脚手架，并使用脚手架创建一个项目？解析创建项目各个文件的作用，内容超详细，通俗易懂。
首先确保您的电脑上下载过Node.js，这样才可以使用npm进行下载。如果没有安装过请先自行安装node.js1. 打开命令终端右键windows窗口标志，找到Windows终端（管理员），点击运行2. 输入指令npm i @vue/cli -g 稍等片刻等待下载完成。3. 待下载完成后，输入vue --v查看是否成功安装ps: 我在安装时出现报错：Vue : 无法加载文件 C:\Users\Asiger\AppData\Roaming\npm\vue.ps1，因为在此系统上禁止运
2024-03-19 20:28:53
355
原创 Python的GUI编程库Tkinter的学习
一样，把库里一个个的组件填好参数放到一个主体里面，最终形成一个可用的用户界面。导入库-> 创建主体对象 -> 组装库中的组件放入到主体对象里。内置到python的安装包里，可以不用下载直接使用。
2024-01-30 07:49:49
899
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人