描述:
requirements.txt中有flash_attn==2.7.3,在尝试pip install -r requirements.txt时报错:
OSError: CUDA_HOME environment variable is not set. Please set it to your CUDA install root.
第一步:
尝试设置cuda环境变量,在~/.zshrc后面加了三行
export CUDA_HOME=/usr/local/cuda* # 插入你具体的cuda版本替换*
source一下
尝试运行nvcc --version,但是输出是zsh:command not found:nvcc
第二步:
怀疑是cuda版本的原因,一般来说服务器都会下载最高版本的cuda,我只需要在conda环境里安装我需要的cudatoolkit就可以了。
决定手动查找和我目前虚拟环境相匹配的falsh_attn版本进行安装:编辑https://github.com/Dao-AILab/flash-attention/releases
需要查看cuda版本、pytorch版本、gcc版本、python版本
下载之后上传到服务器上,激活虚拟环境之后pip install *.whl就可以了