需要flash-attn
1.先去flash-attn和xformers官网看合适的pytorch和cuda版本
2.下载ninja,运行ninja --version和echo $? 返回的是0代表下载成功
3.下载对应的xformers(需要python3.10 pytorch2.3.0)
4.下载flash-attn(先下载einops fsspec ,然后从github上面clone下来,再运行 python setup.py install)
4.下载对应的unsloth
每个都需要从github找对应下载代码进行下载
pytorch:2.3.0
cuda:11.8
flash-attn:2.5.9.post1
python 3.10
注意:unsloth不支持多卡训练!!!!!!!!!!!!!!!!!