第三期实战营 XTuner微调个人小助手

第三期实战营 XTuner微调个人小助手
创建虚拟环境
在安装 XTuner 之前，我们需要先创建一个虚拟环境。使用 Anaconda 创建一个名为 xtuner0121 的虚拟环境，可以直接执行命令。

创建虚拟环境

conda create -n xtuner0121 python=3.10 -y

激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）

conda activate xtuner0121

安装一些必要的库

conda install pytorch2.1.2 torchvision0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

安装其他依赖

pip install transformers4.39.3
pip install streamlit1.36.0

创建一个目录，用来存放源代码

mkdir -p /root/InternLM/code

cd /root/InternLM/code

git clone -b v0.1.21 https://github.com/InternLM/XTuner /root/InternLM/code/XTuner

验证一下安装结果。

xtuner version

创建一个目录，用来存放微调的所有资料，后续的所有操作都在该路径中进行

mkdir -p /root/InternLM/XTuner

cd /root/InternLM/XTuner

mkdir -p Shanghai_AI_Laboratory

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b Shanghai_AI_Laboratory/internlm2-chat-1_8b

apt-get install -y tree

tree -l

然后在本地使用 PowerShell 或者命令行终端，执行以下命令：

其中，8501是Streamlit程序的服务端口，43551需要替换为自己的开发机的端口。

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 43551