- 博客(2)
- 收藏
- 关注
RSS订阅原创 从零本地部署大模型（零基础友好版）
如果是进行只需要跑通模型，至少要保证显卡10G显存并且cuda版本最好高于11.x，如果是需要训练可能需要更大的显存。部署模型有三件事情要做：1.确定本地硬件是否支持需要部署的大模型。2.确定模型需要的依赖。3.下载好模型的权重和配置文件。
2023-09-05 03:00:11
11341
4
原创 关于bitsandbytes安装报错
关于微调大语言模型绕不开安装bitsandbytes，有很多小伙伴会报以上的error参考GitHub上bitsandbytes的issue发现很多人给了一些错误的方向，实际问题就是CUDA环境不干净，参考CSDN回答cuDNNCUDA我尝试了一种新的思路，或许不用删除CUDA程序（因为隐患很大）在重新配置环境之后保存导致我退出了虚拟环境，偶然进入了系统环境，然后离奇的发现安装完bitsandbytes之后可以直接进行python -m bitsandbytes显示安装成功。
2023-08-23 13:40:02
3632
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人