大模型学习应用 3: AutoDL 平台 transformers 环境搭建及模型部署使用（持续更新中）

之前我们学习了在和鲸的预配置好的平台上进行学习，在工作中并不现实，本期我们的目标是将已有模型部署到云端进行运行

配置环境：RTX 4090D(24GB) python 3.12(ubuntu22.04)

参考文章:AutoDL平台transformers环境搭建

注册及选择算力

首先登录官网完成注册

注册之后在算力市场找自己需要的显卡配置：

选择好显卡配置后，点击立即创建

创建后如图所示可以看到自己的实例，开机后点击jupyterLab 即可开始环境配置

新建虚拟环境并配置

进入终端后的基本设置

进入终端

vim  ~/.bashrc

然后按英文模式的 i 进入编辑，按键盘下键到最后输入

source root/miniconda3/etc/profile.d/conda.sh

该语句可以自动设置好 Conda 环境，指的是在你每次打开一个新的终端时，系统会自动加载 Conda 的配置，使得你能够直接使用 Conda 命令（如 conda activate）来管理环境，而不需要手动进行初始化配置

然后先按键盘Esc键，使用命令 :wq 保存退出

进入终端后的界面，运行conda env list 可以看到现在的环境只有base

查看需要安装的对应版本

根据查到的cuda版本去pytorch官网获取对应的pip语句

我这里获取到的语句为：pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

新建虚拟环境

进入base环境

conda activate base
# 可能会报错‘...conda init’
#1、执行：
conda init
#2、执行：
bash
#3、重新激活：
conda activate base

新建环境并配置(注意配置虚拟环境时可以选择不使用显卡开机，不然太花钱啦)

# 1、创建transformers环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda create -n swx_transformers python=3.12 -y



# 2、此时，会有两个环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda env list
# conda environments:                                                                        
#                                                                                            
base                  *  /root/miniconda3                                                    
swx_transformers         /root/miniconda3/envs/swx_transformers

# 3、激活创建的环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda create -n swx_transformers python=3.12 -y
Channels:
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
 - defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done

直接安装对应库

# 4、安装pytorch

# 4.1 设置下载源为清华源
(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple


# 4.1 进入pytorch官网下载最新版pytorch
# https://pytorch.org/
# 推荐使用pip安装

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip3 install torch torchvision torchaudio torchtext --index-url https://download.pytorch.org/whl/cu124

授权网盘再安装对应的库（推荐方法）

除了上述直接安装，我们还可以把对应安装包下载下来，上传网盘，然后下载都数据盘里用于安装

公网网盘授权方式见官网文档

授权后即可上传安装包（我这里默认的上传路径是/autodl-tmp/ 也可以选择 /autodl-fs）

下载对应安装包，在上一个流程中可以看到包的网站，直接点击进去选择对应包下载就可以了，需要注意安装兼容的版本

查询torch 与 torchvision版本对应关系
查询torch 与 torchtext版本对应关系

安装过程：

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install autodl-tmp/torch-2.4.0+cu124-cp312-cp312-linux_x86_64.whl

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install autodl-tmp/torchvision-0.19.0+cu124-cp312-cp312-linux_x86_64.whl

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install autodl-tmp/torchaudio-2.4.0+cu124-cp312-cp312-linux_x86_64.whl

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install autodl-tmp/torchaudio-2.4.0+cu124-cp312-cp312-linux_x86_64.whl

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install scikit-learn

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install pandas

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install transformers

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install matplotlib seaborn

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install requests

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip install psycopg2-binary

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~/autodl-tmp# pip install sqlalchemy

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~/autodl-tmp# pip install openpyxl

jupyter 页面更新

jupyter页面更新（即在jupyter页面里增加一个基础环境：swx_transformers）

在swx_transformers环境中输入:conda install ipykernel

再输入：ipython kernel install --user --name=swx_transformers

模型训练

与本地运行一致，上传需要的数据、模型、代码，修改下路径就可以正常运行代码训练了

模型部署