[已解决] flash-attn报错flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol

最新推荐文章于 2025-03-10 21:36:41 发布

凌漪_

最新推荐文章于 2025-03-10 21:36:41 发布

阅读量1.8w

点赞数 47

文章标签： linux flash-attention 报错

本文链接：https://blog.csdn.net/a61022706/article/details/141570792

版权

报错信息：

ImportError: /home/operationgpt/anaconda3/envs/lyj_py10_torch230/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEi

解决方式:重装flash attention

卸载已有的flash-attn, 输入pip uninstall flash-attn, 然后输入y
查看自己对应的torch版本,cuda版本和python版本

查看torch版本

pip show torch

返回如下结果,可知torch版本为2.3.1
在这里插入图片描述

查看cuda版本

nvcc -V

在这里插入图片描述
cuda版本为V12.5.40

查看python版本

python --version

去flash attention官网下载安装包, 注意需要根据自己的torch版本,cuda版本(可以选择低于自己cuda版本的) 和python版本进行选择. 同时选择abiFALSE.

在这里插入图片描述
右键,复制链接, 在linux中使用wget + 链接进行whl安装包的下载:

wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.6.3/flash_attn-2.6.3+cu123torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

最后使用pip install whl路径,下载好flash-attn,大功告成!

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

凌漪_

关注关注

47
点赞
踩
41

收藏

觉得还不错? 一键收藏
11
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python系列&deep_study系列：# ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86

weixin_54626591的博客

08-12

697

ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15to_dtype_layout4callERKNS_6TensorEN3c108optionalINS5_10ScalarTypeEEENS6_INS5_6LayoutEEENS6_INS5_6DeviceEEENS6_IbEEbbNS6_INS5_12Mem

python 安装flash attention 安装flash_attn

jacke121的专栏

12-05

766

python 安装flash attention 安装flash_attn

11 条评论您还未登录，请先登录后发表或查看评论

实验踩坑 flash_attn_2_cuda undifiend symol

qq_45647688的博客

06-26

1990

找到对应版本的轮子，注意，必须对应torch + cuda + python版本。像我一样网络不好的可以先下载到本地，再上传服务器，只有100M。

解决：pip install flash-attn安装失败案例【cuda】【torch】【flash-attn】

cold的博客

08-30

3930

PyTorch 官方提供了一个方便的工具来生成合适的安装命令。可以访问 PyTorch 官方网站并选择配置，例如操作系统、PyTorch 版本、CUDA 版本等。随后，网站会生成对应的安装命令。，以及后来可能会提示’torch’未安装，却不知道对应cuda版本的torch安装方式。这有一份问题讨论帖，它虽不能解决我的问题，但可能会对你的问题有所帮助，下的含有nvcc文件的cuda目录，将它写入。好了，本马喽要去打二郎神去了~（筋斗云）在一个容器中部署项目环境中，遇到的。重新创建新的虚拟环境，

Python｜flash_attn 安装报错问题解决

最新发布

weixin_42191650的博客

03-10

622

https://github.com/bdashore3/flash-attention/releases（非官方）直接使用 pypi 安装会安装最新版本，不一定适配本地环境，所以需要直接从 release 中选择合适的版本安装。

【大模型加速】三分钟速通Flash Attention (flash-attn)安装

HovChen的博客

02-24

3026

Flash Attention快速安装教程

【明明安装flash-attn成功，但是import的时候报错】

chitong18的博客

12-09

2385

显示是有flash-attn的明明安装flash-attn成功，但是import的时候报错。

LLaVA微调debug：ImportError: xxx/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol:

Mugi_jiang的博客

07-29

2114

flash-attn版本问题，到官网上下载对应自己cuda和torch版本的whl文件，再安装，注意我一开始下了这种TRUE的版本，出现了以上错误，改下FALSE版本后解决。注意是那个TRUE和FALSE的问题！

flash_attn_2_cuda undefined symbol ?

weixin_47420447的博客

08-29

1178

flash_attn_2_cuda 报错：undefined symbol

WGS.

06-06

4981

flash_attn_2_cuda 报错：undefined symbol

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c106detail1

Zack的博客

01-19

3611

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c106detail1

【flash attention安装】成功解决flash attention安装: undefined symbol: _ZN2at4_ops9_pad_enum4callERKNS_6Tensor

志在创建优质博客、通俗易懂、助力大家提高学习效率！

07-30

5508

在进行大模型训练时，我们通过为了解决内存采用策略来优化模型的性能，具体flash attention策略的原理可以自行去看论文，在实际的安装过程中坑太多了，最为经典的坑就是安装成功但是报各种各样的问题，最为经典的模型为目前最为火的模型为intervl看晚上很多的人说需要降低版本，因此，最后将版本降到2.1.0版本，至于高版本可不可以这个具体得看了，反正我调通了就没去试了。在暗疮flash-attn中常见。

python基于transformer的车辆行人识别

01-03

2. 模型构建：选择合适的Transformer架构，例如DETR，它将目标检测问题转化为一个端到端的序列到序列任务。DETR引入了Transformer编码器和解码器，以及一个预定义的固定大小的类别集合，用于预测框和类别。 3. 训练...

ImportError: /usr/local/lib/python3.8/dist-packages/flash_attn_2_cuda.cpython-38-x86_64-linux-gnu.so

Garfield2005的专栏

05-29

2356

调试网络时用到了FalshAttention，直接用的是flash_attn这个库，出现了以下异常。

DB-GPT_0.5.10安装__部署Qwen2-72b模型（Ubuntu）——报错记录

weixin_45852395的博客

08-01

1637

DB-GPT_0.5.10安装__部署Qwen2-72b模型（Ubuntu）——报错记录

安装完flash-attn，使用时报错undefined symbol

ZhengrongYue的博客

03-08

392

安装完flash-attn，使用时报错undefined symbol

安装YOLOv12中所需的Flash Attention（flash-attn），保姆级配置教程，将YOLOv11环境变成YOLOv12

Limiiiing的博客

03-03

2333

安装完成后就配置完成了，可以进行训练了，YOLOv11中也可以按此配置，修改成YOLOv12。下载完成后，放在YOLOv12项目包的根目录，并在终端中安装。成功安装后便不会报错，参考第二节的安装步骤。当前显卡版本不支持，我用的。，首先查看这些版本信息。的版本信息，选择对应的。

ImportError: /usr/local/app/.local/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64

KI的博客

06-05

2855

pip install flash-attn==2.5.9.post1

pointnet2_cuda.cpython-36m-x86_64-linux-gnu.so: undefined symbol: 的可能原因

york1996的博客

02-25

2682

编译完的pointNet模块找不到，提示错误 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/public/home/G19940018/3DGroup/Yaochun/PointRCNN/pointnet2_lib/pointnet2/fps.py", line 7, in <module> import pointnet2_cuda as p...

flash_attn_2_cuda重装

01-01

### 如何重新安装 `flash_attn_2_cuda` 库遇到类似于 `ImportError: /root/miniconda3/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEi` 这样的错误通常意味着存在依赖关系问题，特别是当涉及 CUDA 或 PyTorch 的特定版本时。为了修复这个问题，可以按照如下方法操作： #### 卸载现有软件包先移除当前已有的可能导致冲突的 `PyTorch` 和 `flash_attn` 版本。 ```bash pip uninstall torch flash_attn ``` #### 清理缓存文件有时残留的编译文件也会引发问题，因此建议清理 pip 缓存: ```bash pip cache purge ``` #### 安装兼容版本的 PyTorch 考虑到 `_ZN3c104cuda9SetDeviceEi` 是 PyTorch 中的一部分，并且与 CUDA 密切关联，确保安装的是匹配硬件环境（如CUDA版本）以及操作系统需求的具体版次非常重要。这里提供了一个适用于 CUDA 12.1 的例子： ```bash pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 -f https://mirrors.aliyun.com/pytorch-wheels/cu121/ ``` #### 下载并安装指定版本的 `flash_attn` 对于 `flash_attn` 来说，如果需要特定版本，则可以直接通过 whl 文件来进行精确控制。下面是一个针对 Python 3.10, CUDA 12.2 并带有 cu++ ABI 支持的例子： ```bash pip install flash_attn-2.5.8+cu122torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl ``` 完成上述步骤之后再次测试程序应该能够正常工作了[^1][^2]。