0. 前言
原文档安装教程
git clone https://github.com/IDEA-CCNL/Fengshenbang-LM.git cd Fengshenbang-LM pip install --editable ./
linux可以直接这样做;基于windows,基本都会失败
建议先看requirement中需要安装py包,一个一个安装
主要还是涉及到各类c相关的环境;尤其针对里面的 deepspeed,jieba_fast比较难安装的包进行记录
1. 针对deepspeed
参考链接 如何在window10安装DeepSpeed chat(补充编译报错C2398部分)_deepspeed安装-CSDN博客
特别尤其注意几点:
1. 需要安装torch、cuda(或者无)相关的环境,并验证(这块可以查一下资料)
2. 安装 C相关编译环境。建议直接安装 visual studio
3. 编译选择 cmd,不要选择power shell,管理员权限打开
4. 编译之前手动设置
set DS_BUILD_OPS=0 (这个特别注意,好多文档没有)
set DS_BUILD_AIO=0
set DS_BUILD_SPARSE_ATTN=0
然后运行: python setup.py bdist_wheel
成功之后,在成功的目录 dist 下面执行. pip install deepxxx-any.whl