大模型额外篇章二：基于chalm3或Llama2-7b训练酒店助手模型

一、代码部分讲解

二、实际部署步骤(CHALM3训练步骤)

1）注册AutoDL官网实名认证

①官网地址：https://www.autodl.com/
②按常规方法注册、登录后，还要做个人实名认证。如果不实名认证，无法从浏览器访问你训练的大模型，看不到训练效果。

2）花费额度挑选GPU

①点击算力市场
②RTX 4090，显存大于 20GB 的均可。选中后，点击「n 卡可租」。

③只需选择一个 GPU，然后点击「社区镜像」，选中自己制定的镜像，然后点击「立即创建」

④在容器实例中可以看到刚创建的容器。当「状态」为「运行中」时，表示创建完成，并且开始计费。
如果想暂停计费，请点击「关机」。下次需要使用时，再点击「开机」。
agiclass/fine-tuning-lab/finetune-lab-v4 是我们制作的容器镜像。它预设好了实验环境，包含了llama2的权重、chatglm3的权重下载命令、训好的checkpoints、自己训练所需的数据集和代码等

3）准备实验环境

①ssh登录容器
在自己电脑的命令行工具内，通过 ssh 登录容器。可以从容器实例页面直接复制 ssh 命令和密码

②第一次执行命令，会询问是否信任主机，输入 yes 即可。

③出现下面界面，说明登录成功。

4）开始执行脚本

①制备实验环境的所有操作步骤都写在了默认目录的init_env.sh脚本中，可以直接运行以准备出所需环境

bash /root/init_env.sh

②脚本解释
下面这段内容为init_env.sh中内容的展开解释：

由于autodl平台制作镜像时不包含数据盘，所以部分文件放置在了系统盘，需要将这些文件挪到数据盘中使用（数据盘的空间较大）llama2-7b的预训练权重和训好的checkpoint都放在/root目录中，运行前需要先将其移动到数据盘即 /root/autodl-tmp