大模型微调初接触

wanghan_lulu

已于 2024-02-21 14:23:56 修改

阅读量1.1k

点赞数 28

文章标签： python 人工智能 gpu算力语言模型

于 2024-02-21 12:43:59 首次发布

本文链接：https://blog.csdn.net/wanghan_lulu/article/details/136204831

版权

本文介绍了在GPU环境中使用阿里云PAI平台进行大模型微调的初步尝试，包括Miniconda环境的搭建、Python与TensorFlow的版本管理、解决依赖冲突，以及Huggingface模型和数据集的下载问题。同时，探讨了模型参数量与GPU占用大小的关系，遇到的cudnn路径问题及其解决方案，并预告了后续将涉及的大模型微调技术，特别是模型量化技术的应用。

摘要由CSDN通过智能技术生成

初识大模型微调技术

GPU环境

使用阿里云PAI平台的dsw服务，有三个月的免费试用，感谢阿里云让我有近距离探索gpu和大模型微调技术的机会~

阿里云试用中心link，选择机器学习平台，PAI-DSW试用：
在这里插入图片描述
点击创建实例：

选择支持资源包抵扣的GPU服务器：
选择需要的镜像，资源包用尽时，会以每小时29元进行扣费，要关注一下资源包的使用情况，免费使用的赠送5000个资源包；启动实例后，可在终端查看GPU的情况

nvidia-smi #仅查看当前状态
watch -n 1 nvidia-smi #实时查看使用情况

python版本与引用库

Miniconda环境的安装

# 下载 Miniconda 安装包
$ wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装 Miniconda
$ bash Miniconda3-latest-Linux-x86_64.sh
# 查看是否安装成功
$ conda --version

配置国内镜像

# 配置清华镜像
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
$ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
$ conda config --set show_channel_urls yes
# 查看~/.condarc配置
$ conda config --show-sources

安装mamba

加速anaconda包的下载可以使用mamba来代替conda

$ conda install -n base -c conda-forge mamba

之后可以使用mamba命令代替conda命令。

创建虚拟环境

创建虚拟环境，指定 Python 版本为 3.11，指定tensorflow版本为2.13，可以自动安装CPU和GPU版本，我操作时默认会安装2.15，只安装CPU版本；在虚拟环境中安装相关包之前记得配置好cuda相关的环境变量（见上一部分LD_LIBRARY_PATH和PATH）；

(base) $ conda create -n transformers python=3.11
(base) $ conda activate transformers
# 激活 openai 环境
(transformers) $ conda install -c huggingface transformers
(transformers) $ pip install tensorflow==2.13 
(transformers) $ conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia