实验踩坑 flash_attn_2_cuda undifiend symol

报错

RuntimeError: Failed to import transformers.models.llama.modeling_llama because of the following error (look up to see its traceback):
…/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops5zeros4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10ScalarTypeEEENS6_INS2_6LayoutEEENS6_INS2_6DeviceEEENS6_IbEE

解决方案

在 flash-attention-release 找到对应版本的轮子，注意，必须对应torch + cuda + python版本。

像我一样网络不好的可以先下载到本地，再上传服务器，只有100M。

然后安装

pip install flash_attn-2.5.8+cu122torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl