- 博客(2)
- 收藏
- 关注
原创 百川baichuan2-7B-Chat-int4量化 Windows部署记录
然后查了发现应该是bitsandbytes第三方库的问题,同样还是Linux和Windows的问题,虽然直接pip可以安装bitsandbytes的Windows版,但是版本太低,还是会报错,继续搜索,最终在下方链接中找到最新的bitsandbytes for Windows版本,安装后该问题解决。4. deepspeed第三方库无法直接安装,因为本身是针对Linux平台的,github官网上提供了源码和Windows平台的安装指令,我安装过程中遇到了问题,用下方文章提到的办法解决了。
2023-11-29 19:32:00
1764
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人