报错
RuntimeError: Failed to import transformers.models.llama.modeling_llama because of the following error (look up to see its traceback):
…/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops5zeros4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10ScalarTypeEEENS6_INS2_6LayoutEEENS6_INS2_6DeviceEEENS6_IbEE
解决方案
在 flash-attention-release 找到对应版本的轮子,注意,必须对应torch + cuda + python版本。
像我一样网络不好的可以先下载到本地,再上传服务器,只有100M。
然后安装
pip install flash_attn-2.5.8+cu122torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl