大模型conda环境安装步骤

1、默认安装完成conda
2、conda create --name myenv python=3.8
3、pytorch安装
先nvidia-smi查看cuda版本
然后去pytorch官网
命令如：conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
4、安装transformers
pip install transformers
5、pip install accelerate
6、pip install -i https://pypi.org/simple/ bitsandbytes
注意bitsandbytes没有空格报错
安装完成第六步之后应该可以正常预测了，下面是用来进行训练的相关环境
7、 pip install peft
pip install datasets
（接下来发现第15步的报错报错，这里8-14步都是认为是deepspeed报错，尝试d安装eepspeed，未解决后回退，不安装可以直接跳到15步）
8、运行程序cuda报错有可能是deepspeed没装或者内存不够
（需要pip install deepspeed，继续报错）
9、安装deepspeed不能用torch内置的cuda，需要再安装一版本cuda
需要坚持版本是使用apt还是yum来进行cuda安装
（yum install nvidia-cuda-toolkit
发现yum报错：CRYPTO_num_locks
10、解决yum报错，原因是链接到conda中的库了，但机器的python版本不一致
首先查看报错位置
ldd /usr/lib64/python2.7/site-packages/pycurl.so
然后查看正确位置
ldconfig -v | grep libcurl
将报错位置的库删除
rm -f /home/user1/anaconda3/lib/libcurl.so.4
替换该位置的库
ln -s /usr/lib64/libcurl.so.4.3.0 /home/user1/anaconda3/lib/libcurl.so.4
11、然后安装cuda
找到https://developer.nvidia.com/cuda-toolkit-archive官方网站
使用lscpu查看结构
x86_64或者是arm等结构
使用lsb_release -a查看系统名
centos等系统
选择联网安装
sudo yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
sudo yum clean all
sudo yum -y install nvidia-driver-latest-dkms
sudo yum -y install cuda
12、nvidia-smi发现驱动报错
sudo yum remove nvidia-*
进行驱动卸载
13、驱动安装
提示没有软件包
sudo rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
yum install nvidia-detect
nvidia-detect
sudo yum install kmod-nvidia（好像报错没有安装上）
sudo reboot
14、发现从源安装的驱动没有nvidia-smi
必须从官网安装
安装后发现版本不匹配，且需要
直接按照版本号在网上搜索可以避免麻烦
安装过程：
chomod u+x X.run
sudo ./X.run -no-x-check
注意卸载一定要用uninstall，方便快速
./X.run --uninstall
15.特别难调试的错误
报错RuntimeError: CUDA error: device-side assert triggered Compile with TORCH_USE_CUDA_DSA` to enable
解决方法
使用 tokenizer.add_special_tokens({‘pad_token’: ‘[PAD]’})添加pad_token的话会导致数据在eos之后还会有值，会导致计算出错 所以应该用 tokenizer.pad_token = tokenizer.eos_token 来定义pad_token