关键报错截取:
ImportError: /root/miniconda3/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEi
可以尝试卸载并重新安装相关的依赖。在这种情况下,你可能需要卸载并重新安装 PyTorch 和 flash_attn,因为错误信息指出的符号 _ZN3c104cuda9SetDeviceEi
是 PyTorch 的一部分,而且这个符号在 flash_attn 的共享库 flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so
中被引用。
用以下的命令来卸载 PyTorch 和 flash_attn:
pip uninstall torch
pip uninstall flash_attn
然后,重新安装这两个包:
pip install torch
pip install flash_attn