初识大模型微调技术
GPU环境
使用阿里云PAI平台的dsw服务,有三个月的免费试用,感谢阿里云让我有近距离探索gpu和大模型微调技术的机会~
阿里云试用中心link,选择机器学习平台,PAI-DSW试用:
点击创建实例:
选择支持资源包抵扣的GPU服务器:
选择需要的镜像,资源包用尽时,会以每小时29元进行扣费,要关注一下资源包的使用情况,免费使用的赠送5000个资源包;启动实例后,可在终端查看GPU的情况
nvidia-smi #仅查看当前状态
watch -n 1 nvidia-smi #实时查看使用情况
python版本与引用库
Miniconda环境的安装
# 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh
# 查看是否安装成功
$ conda --version
配置国内镜像
# 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources
安装mamba
加速anaconda包的下载 可以使用mamba来代替conda
$ conda install -n base -c conda-forge mamba
之后可以使用mamba命令代替conda命令。
创建虚拟环境
创建虚拟环境,指定 Python 版本为 3.11,指定tensorflow版本为2.13,可以自动安装CPU和GPU版本,我操作时默认会安装2.15,只安装CPU版本;在虚拟环境中安装相关包之前记得配置好cuda相关的环境变量(见上一部分LD_LIBRARY_PATH和PATH);
(base) $ conda create -n transformers python=3.11
(base) $ conda activate transformers
# 激活 openai 环境
(transformers) $ conda install -c huggingface transformers
(transformers) $ pip install tensorflow==2.13
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia