Windows 安装 flash-attention 和 bitsandbytes

最新推荐文章于 2024-07-30 20:02:38 发布
最新推荐文章于 2024-07-30 20:02:38 发布
阅读量2.1k 收藏 16
点赞数 9
文章标签： windows pytorch python cuda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51750957/article/details/134763977
版权

  • 首先保证cuda版本为12.1，torch版本为2.1.0及以上，python版本3.10以上

  • 从此处下载最新版的whl，https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels，通过whl来安装bitsandbytes

  • 从此处下载最新版的whl， https://github.com/bdashore3/flash-attention/releases, 通过whl来安装flash-attn
    如果出现

CUDA SETUP: Problem: The main issue seems to be that the main CUDA library was not detected.

通常就是bitsandbytes的版本没装对，或者cuda版本不对。确保安装cuda12.1以及对应的torch，再从whl安装bitsandbytes，即可避免此问题。

qq_51750957
关注
  • 9
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MATLAB实现LSTM-Attention和LSTM多特征分类预测（完整源码和数据）
09-06
2.Attention-LSTM分类预测,注意力机制Attention-LSTM分类预测; 3.程序语言为matlab，程序可出分类效果图，混淆矩阵图 4.多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 5.运行环境...
减少windows下flash-attention的安装时间
ls077的专栏
04-14 1239
使用此方式，用4个小时左右成功安装了flash-attention，生成的flash_attn_2_cuda.cp310-win_amd64.pyd有385MB。根据任务管理器的信息，32G的内存已经被用了8G，而监控发现编译程序运行时内存峰值在3G左右，所以可以使用8个线程进行编译。以上采用默认安装方式时，编译x.cu文件仅启动了2个线程，1个文件需要20多分钟，而cu文件有48个！所以记录一下优化方式。几经折腾，发现作者已经在setup.py里包含了调整编译线程数的环境参数了。
flash-attn windows环境安装踩坑日记
2301_77818837的博客
01-17 6320
因为官方发布的wheel是linux版的，所以在windows环境下安装时需要编译源码。具体选择哪个下载，需要先运行pip debug --verbose，根据输出里面的Compatible tags来选择兼容的wheel文件。下载相应的wheel文件并安装：pip install "flash_attn-2.4.1+cu121torch2.1cxx11abiFALSE-cp39-cp39-win_amd64.whl"flash-attn python包是对Flash attention的开源实现。
【flash attention安装】成功解决flash attention安装: undefined symbol: _ZN2at4_ops9_pad_enum4callERKNS_6Tensor
最新发布
志在创建优质博客、通俗易懂、助力大家提高学习效率！
07-30 2113
在进行大模型训练时，我们通过为了解决内存采用策略来优化模型的性能，具体flash attention策略的原理可以自行去看论文，在实际的安装过程中坑太多了，最为经典的坑就是安装成功但是报各种各样的问题，最为经典的模型为目前最为火的模型为intervl看晚上很多的人说需要降低版本，因此，最后将版本降到2.1.0版本，至于高版本可不可以这个具体得看了，反正我调通了就没去试了。在暗疮flash-attn中常见。
flash_attn安装
qq_38531623的博客
04-28 4340
如果出现该错误cannot import name ‘is_flash_attn_available’ from ‘transformers.utils’，可以。访问该网站，找到对应torch、python、cuda版本的flash_attn进行下载，并上传到服务器。
Windows环境下flash-attention安装
qq_21491605的博客
02-13 4313
机器学习里Transformer模型大量使用flash-attention这个自注意力模块，多次安装遇到一堆问题，希望能给大家一点帮助。结合了多篇前人经验。
安装flash-attention
乘风归去
11-09 1万+
安装中需要通过git自动下载nvidia的cutlass包，有的机器网络环境不支持git下载代码，会报缺少cutlass文件的错，需要在对应版本的git网页上进入flash-attention/csrc，下载cutlass对应的版本后再安装。如果报未安装rotary、xentropy的错，单独安装即可。由于GPU型号、网络环境等原因，安装容易失败。1.看机器是否支持2.x版本。机器不支持2.x，下载。机器支持2.x，下载。
【个人笔记】windows 安装bitsandbytes，auto-gptq
M2087的博客
06-21 3275
aoto-gptq目前好像只支持cuda11.7和11.8。怒...我的cuda11.6重装了(虽然并没有很麻烦)
专299-CPO-TCN-BiGRU-Attention和TCN-BiGRU-Attention多变量时序预测
05-08
通过对CPO-TCN-BiGRU-Attention和TCN-BiGRU-Attention两种方法的详细分析，我们可以看出它们在多变量时序预测领域具有显著的优势。尤其是在处理复杂的时间序列数据时，这两种方法能够更有效地捕捉到数据中的内在联系...
flash-attention py3.10wheel包
02-27
lmdeploy 所需的flash_attn包
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。相关文章程式码范例多头注意力import torchfrom self_attention_cv import MultiHeadSelfAttentionmodel = ...
深度学习环境搭建 cuda、模型量化bitsandbytes、git-lfs安装教程 windows、linux
m0_61634551的博客
08-19 3737
输入以下命令，查看 GPU 支持的最高 CUDA 版本。nvidia-smi。
关于Import pykeops时出现warnning No cuda detect
不屈不挠的拉普
03-27 888
具体问题在pykeops.common.gpu_utils的函数get_gpu_number()中 libnames = ("libcuda.so", "libcuda.dylib", "cuda.dll") for libname in libnames: try: cuda = ctypes.CDLL(libname) except OSError: continue else:
flash-attn库安装记录
萧鼎的博客
01-16 7525
flash-attn库安装记录。安装好cuda11.7。让库找到cuda路径。
flash_attn及auto-gptq本地安装成功
weixin_50898138的博客
10-08 2266
flash_attn及auto-gptq本地安装成功
如何安装flash-attn
q742971636的博客
12-02 1548
【代码】如何安装flash-attn。
解决：CUDA安装程序不成功
FriendshipTang的博客
03-23 5062
解决：CUDA安装程序不成功报错如下分析原因解决方法 报错如下 分析原因 由于电脑里的原版本是11.2，可能降到11.0会出现错误，因此安装不成功！ 解决方法 在“Driver components”节点下，比对目前计算机已经安装的显卡驱动“Display Driver"的版本号“Current Version（当前版本）“和CUDA自带的显卡驱动版本号“New Vercin（新版本）” 如果“Current Version（当前版本）”大于"New Version（新版本）”，则需要取消"Displa
Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-22 1万+
​ Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略 目录 bitsandbytes的简介 bitsandbytes的安装 bitsandbytes的使用方法 bitsandbytes的简介 bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()）和量化函数。 GitHub：https://github.com/TimDettmers/bitsandbytes
flash-attention 安装
01-24
要安装Flash-Attention，首先需要确保你的计算机上已安装了Adobe Flash Player。若已安装，请按照以下步骤进行安装： 1. 打开浏览器，前往Adobe官方网站的Flash Player下载页面。 2. 在下载页面上，根据你的操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值