[已解决] flash-attn报错flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol

最新推荐文章于 2024-09-24 22:38:01 发布

凌漪_

最新推荐文章于 2024-09-24 22:38:01 发布

阅读量2.7k

点赞数 7

文章标签： linux flash-attention 报错

本文链接：https://blog.csdn.net/a61022706/article/details/141570792

版权

报错信息：

ImportError: /home/operationgpt/anaconda3/envs/lyj_py10_torch230/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEi

解决方式:重装flash attention

卸载已有的flash-attn, 输入pip uninstall flash-attn, 然后输入y
查看自己对应的torch版本,cuda版本和python版本

查看torch版本

pip show torch

返回如下结果,可知torch版本为2.3.1
在这里插入图片描述

查看cuda版本

nvcc -V

在这里插入图片描述
cuda版本为V12.5.40

查看python版本

python --version

去flash attention官网下载安装包, 注意需要根据自己的torch版本,cuda版本(可以选择低于自己cuda版本的) 和python版本进行选择. 同时选择abiFALSE.

在这里插入图片描述
右键,复制链接, 在linux中使用wget + 链接进行whl安装包的下载:

wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.6.3/flash_attn-2.6.3+cu123torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

最后使用pip install whl路径,下载好flash-attn,大功告成!

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

凌漪_

关注关注

7
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

python系列&deep_study系列：# ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86

weixin_54626591的博客

08-12

247

ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15to_dtype_layout4callERKNS_6TensorEN3c108optionalINS5_10ScalarTypeEEENS6_INS5_6LayoutEEENS6_INS5_6DeviceEEENS6_IbEEbbNS6_INS5_12Mem

[论文笔记] Megatron: mistral sliding window（ImportError: /workspace/venv/lib/python3.10/site-packag报错解决）

心宝的博客

02-06

139

transformer engine 的 sliding window 是用了 flash atttention（新版本2以上，这里用的最新版本2.5.2）里对sliding_window的实现。所以不需要用transformer engine。直接用flash attention即可。传入参数为（4096，0）：前面看4096个位置。（-1，-1）：全局注意力（-1，0）：自回归注意力，只看前面所有位置。是无sliding window 的实现。

参与评论您还未登录，请先登录后发表或查看评论

LLaVA微调debug：ImportError: xxx/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol:

Mugi_jiang的博客

07-29

834

flash-attn版本问题，到官网上下载对应自己cuda和torch版本的whl文件，再安装，注意我一开始下了这种TRUE的版本，出现了以上错误，改下FALSE版本后解决。注意是那个TRUE和FALSE的问题！

报错undefined symbol: _ZN3c104impl23ExcludeDispatchKeyGuardC1ENS_11DispatchKeyE

路过人间，一叶知秋

06-10

1万+

报错 python报错： _C.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN3c104impl23ExcludeDispatchKeyGuardC1ENS_11DispatchKeyE ImportError: /usr/local/lib/python3.6/dist-packages/pytorch3d/_C.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN3c104impl23

mamba-ssm安装说明（Ubuntu）

热门推荐

MurphyStar的博客

05-08

1万+

Flash Attention是一种注意力算法，更有效地缩放基于transformer的模型，从而实现更快的训练和推理。由于很多llm模型运行的时候都需要安装flash_attn，比如Llama3，趟了不少坑，最后建议按照已有环境中Python、PyTorch和CUDA的版本精确下载特定的whl文件安装是最佳方式。

flash_attn_2_cuda 报错：undefined symbol

WGS.

06-06

2664

flash_attn_2_cuda 报错：undefined symbol

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c106detail1

Zack的博客

01-19

2827

pytorch_quantization/cuda_ext.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c106detail1

实验踩坑 flash_attn_2_cuda undifiend symol

qq_45647688的博客

06-26

830

找到对应版本的轮子，注意，必须对应torch + cuda + python版本。像我一样网络不好的可以先下载到本地，再上传服务器，只有100M。

ImportError: /usr/local/app/.local/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64

KI的博客

06-05

1627

pip install flash-attn==2.5.9.post1

ImportError causal_conv1d_cuda.cpython-310-x86_64-linux-gnu.so undefined symbol解决

weixin_45983731的博客

06-07

781

causal_conv1d不能使用Pip安装，否则报错：ImportError: /home/robot/anaconda3/envs/mamba/lib/python3.10/site-packages/causal_conv1d_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda20CUDACachingAllocator9allocatorE解决方法：安装mamba错误ImportError causal_conv1

pip install flash_attn 报错

G果的博客

05-05

3631

使用的是远程服务器，个人账户没有权限安装新的cuda，考虑现成的。发现已有cuda-11.1和cuda-12.0两个版本。

python基于transformer的车辆行人识别

01-03

2. 模型构建：选择合适的Transformer架构，例如DETR，它将目标检测问题转化为一个端到端的序列到序列任务。DETR引入了Transformer编码器和解码器，以及一个预定义的固定大小的类别集合，用于预测框和类别。 3. 训练...

python调用so库 undefind symbol_内嵌Python import时undefined symbol错误及解决 | 学步园

weixin_39648432的博客

12-08

3477

内嵌Python import时undefined symbol错误及解决以下代码#include#include#includeintmain(intargc,char*argv[])...{Py_Initialize();PyRun_SimpleString("fromtimeimporttime, ctime/n""print'Todayis', ctime(tim...

配置Fairseq的wav2vec采坑记录2

starinline的专栏

03-03

6682

前面写过一片Fairseq Wav2ec的踩坑记录，但是没有踩完，但是没办法3个月之后继续踩，这次总算跑起来了。 1.基础环境 Intel® Xeon® Platinum 8163 CPU @ 2.50GHz × 96 GeForce RTX 3090 x 2 （这里必须说明以下：3090是导致编译和执行问题的主要背锅的） Ubuntu 20.04 Ananconda3 Python3.9 PyTorch1.8.1 -Nightly版本（据说只有这个版本可以适用3090） Apex （编译通过但是没

【flash attention安装】成功解决flash attention安装: undefined symbol: _ZN2at4_ops9_pad_enum4callERKNS_6Tensor

志在创建优质博客、通俗易懂、助力大家提高学习效率！

07-30

3288

在进行大模型训练时，我们通过为了解决内存采用策略来优化模型的性能，具体flash attention策略的原理可以自行去看论文，在实际的安装过程中坑太多了，最为经典的坑就是安装成功但是报各种各样的问题，最为经典的模型为目前最为火的模型为intervl看晚上很多的人说需要降低版本，因此，最后将版本降到2.1.0版本，至于高版本可不可以这个具体得看了，反正我调通了就没去试了。在暗疮flash-attn中常见。

pointnet2_cuda.cpython-36m-x86_64-linux-gnu.so: undefined symbol: 的可能原因

york1996的博客

02-25

2533

编译完的pointNet模块找不到，提示错误 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/public/home/G19940018/3DGroup/Yaochun/PointRCNN/pointnet2_lib/pointnet2/fps.py", line 7, in <module> import pointnet2_cuda as p...

[linux] AttributeError: module ‘transformer_engine‘ has no attribute ‘pytorch‘

心宝的博客

03-27

1843

其中这个答案并没有解决我的问题：import的flash_attn是xformers的包。。。cd到目录下 /mnt/nas/kexin/cv/Open-Sora/xformers/third_party/flash-attention/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so。

安装 flash-attn 报错fatal: not a git repository (or any of the parent directories): .git

09-13

当安装flash-attn时出现错误"fatal: not a git repository (or any of the parent directories): .git"通常是因为当前目录不是一个git仓库或者没有正确初始化git。要解决这个问题，你可以按照以下步骤操作： 1. 首先，确认你已经在一个git仓库的目录下。你可以使用`git status`命令来检查当前目录是否是一个git仓库。如果不是，你需要切换到正确的git仓库目录。 2. 如果你确定当前目录是一个git仓库，那么可能是git仓库没有正确初始化。你可以使用`git init`命令来初始化一个新的git仓库。确保在正确的目录下运行该命令。 3. 如果你已经在一个git仓库目录下且仍然出现错误，那么可能是由于.git目录丢失或损坏导致的。这种情况下，你可以尝试重新克隆git仓库。首先，删除当前目录下的所有文件和文件夹（除了.git目录）。然后，在命令行中使用`git clone <repository_url>`命令来克隆该git仓库。确保替换`<repository_url>`为正确的git仓库URL。总结起来，要解决"fatal: not a git repository (or any of the parent directories): .git"错误，你可以先确认当前目录是否是一个git仓库，如果不是，切换到正确的git仓库目录；如果是一个git仓库，但没有正确初始化，可以使用`git init`命令进行初始化；如果.git目录丢失或损坏，可以尝试重新克隆git仓库。