【亲测解决flash_atten2问题】lib/python3.11/site-packages/flash_attn-2.5.6-py3.11-linux-x86_64.egg/flash_attn

最新推荐文章于 2024-07-30 20:02:38 发布
最新推荐文章于 2024-07-30 20:02:38 发布
阅读量3.3k 收藏 6
点赞数 3
分类专栏： docker pytorch 文章标签： python 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woai8339/article/details/136646010
版权

微信公众号：leetcode_algos_life，代码随想随记
小红书：412408155
CSDN：https://blog.csdn.net/woai8339?type=blog ，代码随想随记
GitHub: https://github.com/riverind
抖音【暂未开始，计划开始】：tian72530，代码随想随记
知乎【暂未开始，计划开始】：happy001

问题

加载大模型跑的时候，出现报错，报错信息如下：

lib/python3.11/site-packages/flash_attn-2.5.6-py3.11-linux-x86_64.egg/flash_attn_2_cuda.cpython-311-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15sum_IntList_out4callERKNS_6TensorEN3c1016OptionalArrayRefIlEEbSt8optionalINS5_10ScalarTypeEERS2_ (type=value_error)

解决方案

conda activate 环境名
pip uninstall flash-attn
FLASH_ATTENTION_FORCE_BUILD=TRUE pip install flash-attn
代码随想随记
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Face-Recognition-Attendance:使用OpenCV进行人脸识别并在旧CCTV镜头上开发了Advance高速考勤系统
05-22
使用考勤系统使用已安装的软件包将存储库克隆到python虚拟环境中：* face_recognition * dlib * imutils * argparse * opencv-python * pickle克隆： $ git clone https://github.com/Akash16s/Face-Recognition-Atten
flash_attn_2_cuda 报错：undefined symbol
WGS.
06-06 1321
flash_attn_2_cuda 报错：undefined symbol
报错undefined symbol: _ZN3c104impl23ExcludeDispatchKeyGuardC1ENS_11DispatchKeyE
路过人间，一叶知秋
06-10 9925
报错 python报错： _C.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN3c104impl23ExcludeDispatchKeyGuardC1ENS_11DispatchKeyE ImportError: /usr/local/lib/python3.6/dist-packages/pytorch3d/_C.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN3c104impl23
实验踩坑 flash_attn_2_cuda undifiend symol
qq_45647688的博客
06-26 526
找到对应版本的轮子，注意，必须对应torch + cuda + python版本。像我一样网络不好的可以先下载到本地，再上传服务器，只有100M。
FlashAttention（flash-attn）安装
热门推荐
MurphyStar的博客
05-08 1万+
Flash Attention是一种注意力算法，更有效地缩放基于transformer的模型，从而实现更快的训练和推理。由于很多llm模型运行的时候都需要安装flash_attn，比如Llama3，趟了不少坑，最后建议按照已有环境中Python、PyTorch和CUDA的版本精确下载特定的whl文件安装是最佳方式。
【flash attention安装】成功解决flash attention安装: undefined symbol: _ZN2at4_ops9_pad_enum4callERKNS_6Tensor
最新发布
志在创建优质博客、通俗易懂、助力大家提高学习效率！
07-30 1803
在进行大模型训练时，我们通过为了解决内存采用策略来优化模型的性能，具体flash attention策略的原理可以自行去看论文，在实际的安装过程中坑太多了，最为经典的坑就是安装成功但是报各种各样的问题，最为经典的模型为目前最为火的模型为intervl看晚上很多的人说需要降低版本，因此，最后将版本降到2.1.0版本，至于高版本可不可以这个具体得看了，反正我调通了就没去试了。在暗疮flash-attn中常见。
【书生·浦语】大模型实战营——第五课作业
m0_50123831的博客
01-14 1131
教程文档：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md#tritonserver-%E6%9C%8D%E5%8A%A1%E4%BD%9C%E4%B8%BA%E5%90%8E%E7%AB%AF 视频链接：作业： 使用如下命令创建conda环境 然后激活环境，进入环境。 通过pip命令安装lmdeploy 途中遇到报错，说没有packaing这个包。 那么通过pip install packagin
Python｜flash_attn 安装方法
长行
06-09 2842
直接使用 pypi 安装会安装最新版本，不一定适配本地环境，所以需要直接从 release 中选择合适的版本安装。没有适合的 CUDA 版本和 pytorch 版本则应用更早的版本）。的版本上，直接选择最新版本即可（若最新版本的。
text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。
dandandancpop的博客
12-01 4724
一开始排查是以为transformers的版本不对，先确定了transformers的版本，transformers的版本应该大于4.35.0。把transformers升级为4.35.0后仍然报错。最后发现是cuda版本与torch版本不匹配。接着排查cuda和torch的版本。最后加载成功codellama。
anaconda安装python 3.11
Learning from the mistakes
10-24 3843
【代码】anaconda安装python 3.11。
ImportError: /usr/local/app/.local/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64
KI的博客
06-05 765
pip install flash-attn==2.5.9.post1
安装 flash_attn 时 ModuleNotFoundError: No module named ‘torch‘ 错误解决
engchina的专栏
07-03 7105
安装 flash_attn 时 ModuleNotFoundError: No module named 'torch' 错误解决
多特征时序块多输出预测未来60秒股价CNN-bilstm-attention
02-22
有问题请关注然后私聊我，包此代码的答疑服务，基本秒回，不满意加球球包退款，可接受定制服务 此文件多输出代码示例： x = Conv1D(filters=64, kernel_size=1, activation='relu')(inputs) # , padding = 'same' ...
xray_atten_interp.m
09-08
Interpolate mass attenuation coefficients (mac) onto desired energies 目标X射线能谱的质量衰减系数插值 MATLAB code
人工智能-深度学习-基于深度学习和注意力机制的图像描述算法研究.pdf
06-27
首先，文章提出了一个名为DW-NIC的图像描述算法，该算法结合了密集连接网络（Dense Connection Network）和Word2Vec模型。在传统的图像描述算法中，通过卷积神经网络提取的图像特征表达不充分，而采用one-hot编码...
attendance-using-express-via-bot-telegram:使用电报机器人 mongodb expressjs 的考勤应用程序
05-31
出勤使用快递通过机器人电报 该应用程序是一个使用expressjs通过电报机器人进行出勤的应用程序 如何使用 在您的电报BotFather创建电报机器人搜索并输入/newbot并输入 ...docker-compose exec atten
减少windows下flash-attention的安装时间
ls077的专栏
04-14 1103
使用此方式，用4个小时左右成功安装了flash-attention，生成的flash_attn_2_cuda.cp310-win_amd64.pyd有385MB。根据任务管理器的信息，32G的内存已经被用了8G，而监控发现编译程序运行时内存峰值在3G左右，所以可以使用8个线程进行编译。以上采用默认安装方式时，编译x.cu文件仅启动了2个线程，1个文件需要20多分钟，而cu文件有48个！所以记录一下优化方式。几经折腾，发现作者已经在setup.py里包含了调整编译线程数的环境参数了。
conda 环境安装踩坑日记-2024-07-04
m0_46437343的博客
07-04 592
xformers。
ESP32-S3的ADC检测例程
07-12
你好！以下是一个简单的ESP32-S3的ADC检测例程： ```C #include <stdio.h> #include "esp_adc_cal.h" #include "esp_log.h" #include "esp_system.h" #include "driver/adc.h" #define DEFAULT_VREF 1100 #define NO_OF_SAMPLES 64 static const char *TAG = "ADC"; void app_main() { // 配置ADC adc1_config_width(ADC_WIDTH_BIT_12); adc1_config_channel_atten(ADC_CHANNEL_0, ADC_ATTEN_DB_11); // 计算ADC参考电压 esp_adc_cal_characteristics_t adc_chars; esp_adc_cal_value_t val_type = esp_adc_cal_characterize(ADC_UNIT_1, ADC_ATTEN_DB_11, ADC_WIDTH_BIT_12, DEFAULT_VREF, &adc_chars); // 读取ADC值并打印 while (1) { uint32_t adc_reading = 0; for (int i = 0; i < NO_OF_SAMPLES; i++) { adc_reading += adc1_get_raw((adc1_channel_t)ADC_CHANNEL_0); } adc_reading /= NO_OF_SAMPLES; uint32_t voltage = esp_adc_cal_raw_to_voltage(adc_reading, &adc_chars); ESP_LOGI(TAG, "Raw: %d\tVoltage: %dmV", adc_reading, voltage); vTaskDelay(pdMS_TO_TICKS(1000)); } } ``` 这个例程使用了ESP-IDF框架来进行ADC的配置和读取。首先，我们通过`adc1_config_width`函数将ADC的位宽设置为12位，然后使用`adc1_config_channel_atten`函数将ADC通道设置为通道0，并设置增益为11dB。 接下来，我们使用`esp_adc_cal_characterize`函数计算ADC的参考电压，并将结果存储在`adc_chars`结构体中。 在主循环中，我们使用`adc1_get_raw`函数来读取ADC的原始值，并将它们累加起来。然后，我们对累加值求平均值，得到一个稳定的ADC读数。最后，我们使用`esp_adc_cal_raw_to_voltage`函数将原始值转换为电压，并打印出来。 请注意，这个例程仅仅是一个简单的示例，你可以根据自己的需求进行修改和扩展。希望能对你有所帮助！
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值