flash_attn安装出现的错误及本地安装package

flow_code

已于 2024-02-18 18:53:28 修改

阅读量4.4k

点赞数 5

文章标签：人工智能深度学习经验分享

于 2024-02-18 18:47:31 首次发布

本文链接：https://blog.csdn.net/wm199/article/details/136157193

版权

在大模型构建中，flash_attn是关键package，但直接安装会遇到错误。报错显示需要Microsoft Visual C++ 14.0。为解决此问题，可以下载预编译的Windows版本，根据torch和CUDA版本选择合适的whl文件，然后在命令行中进行本地安装，从而成功安装package。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

flash_attn安装包是在大模型的建立过程中是一个非常重要的package，但是直接使用命令行安装会出现报错。

1. 报错

直接安装：

pip install flash_attn

错误：
Building wheels for collected packages: flash_attn
Building wheel for flash_attn (setup.py) … error
error: subprocess-exited-with-error

× python setup.py bdist_wheel did not run successfully.
│ exit code: 1
╰─> [73 lines of output]
fatal: not a git repository (or any of the parent directories): .git

warnings.warn(f’Error checking compiler version for {compiler}: {error}')
building ‘flash_attn_2_cuda’ extension
error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools”: https://visualstudio.microsoft.com/visual-cpp-build-tools/
[end of output]

note: This error originates from a subprocess, and is likely not a problem with pip.