conda 环境安装踩坑日记-2024-07-04

torch2.3.0环境安装记录

同时安装 xformers, vllm, vllm-flash-attn, flash-attn 在一个环境中

1. 新建conda环境

conda create -n torch2.3 python=3.10
conda activate torch2.3

2. 安装 pytorch2.3.0 + cuda12.1
   这里一定要是cuda12.1，cuda11.8 踩过坑了，后面安装vllm麻烦的一批

pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

3. 安装 xformers
xformers默认是cuda12.1 版本，这里正常安装即可，参考

pip install xformers==0.0.26.post1

4. 安装 flash-attn
   这玩意需要依赖cuda编译，所以需要conda安装cuda-nvcc，但是官网只有cuda11.8和cuda12.2版本，这里我们安装cuda12.2版本，问题就出在这，之前想着cuda版本都对应，所以安装了cuda11.8版本，后面就各种报错，参考
   求官方GitHub找对应的release，复制链接

conda install nvidia/label/cuda-12.2.0::cuda-nvcc
pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.9.post1/flash_attn-2.5.9.post1+cu122torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

5. 安装 vllm
   参考官方文档，vllm默认也是cuda12.1，这里我们为了详细说明，还是从GitHub下载

pip install https://github.com/vllm-project/vllm/releases/download/v0.5.0.post1/vllm-0.5.0.post1-cp310-cp310-manylinux1_x86_64.whl

如果在vllm想用flash-attn，还得再安装vllm-flash-attn，去pypi release看，下载对应版本

# pytorch2.3.0, cuda12.1
pip install vllm-flash-attn==2.5.9

6. deepspeed 有问题，先不安装