上海人工智能实验室的书生·浦语大模型学习笔记及作业--day4

书生·浦语是上海人工智能实验室和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每日学习情况。

马上就ddl，但这次学习的内容太多，需要很长时间去消化，要抓紧最后时间，不然来不及了

这次记录的是学习Finetune。

一、什么是Finetune

Finetune中文译为“微调”，深度学习中需要在深层网络中不断进行训练更新模型的参数（权重）拟合能实现预期结果的模型。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了深度神经网络强大的泛化能力，又免去了设计复杂的模型以及耗时良久的训练，所以fine tuning是当数据量不足时的一个比较合适的选择。

我们也可以这么理解fine-tune：我们的目标是使预测损失最小化，在各个参数展开的空间内找到最优的点（或者是靠近最优点的点），如果从开始找，当然比较慢；但是从之前已经训练好的其他类似模型开始，就相当于在最优点附近的点开始，自然收敛的速度和效果会比从零训练好得多。

Finetune的两种方式，增量预训练微调、指令跟随微调

二、什么是指令跟随微调

指令跟随微调数据中会有 Input 和 Output 希望模型学会的是答案(Output)而不是问题(Input)，训练时只会对答案部分计算Loss。

三、什么是增量预训练微调

增量数据微调最终要的不同在于：“让LLM知道什么时候开始一段话，什么时候结束一段话。”

四、XTune微调框架

XTuner是上海人工智能实验室（上海AI实验室）发布低成本大模型训练工具箱。XTuner支持多种层级硬件的适配，开发者最低只需使用8GB消费级显存，即可训练出适用于具体需求场景的“专属大模型”。

 XTuner支持与书生·浦语（InternLM）、Llama等多款开源大模型的适配，可执行增量预训练、指令微调、工具类指令微调等任务类型。硬件要求上，在Tesla T4、A100等传统数据中心之外，开发者最低使用消费级显卡便可进行训练，实现大模型特定需求能力。

特点一 适配多种数据集格式

      XTuner 适配了多个热门开源数据集格式：

• Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式；

• MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用；

• Gunacao 格式，QLoRA 项目中所使用数据集的格式；

• OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式；

      开发者可直接使用对应格式的数据集，并支持多种格式数据源的混合使用，目前，更多适配的数据集格式正在持续更新。    

特点二 支持多种训练引擎结合

XTuner首次尝试将社区内常用的HuggingFace与OpenMMLab进行结合，兼顾易用性和可配置性。支持使用MMEngine Runner和HuggingFace Trainer两种训练引擎，开发者如有深度定制化需求，可根据使用习惯灵活配置。

五、基础作业

构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手

1、构建环境

# InternStudio 平台中，从本地 clone 一个已有 pytorch 2.0.1 的环境（后续均在该环境执行，若为其他环境可作为参考）
# 进入环境后首先 bash
# 进入环境后首先 bash
# 进入环境后首先 bash
bash
conda create --name personal_assistant --clone=/root/share/conda_envs/internlm-base
# 如果在其他平台：
# conda create --name personal_assistant python=3.10 -y

# 激活环境
conda activate personal_assistant
# 进入家目录 （~的意思是 “当前用户的home路径”）
cd ~
# 创建版本文件夹并进入，以跟随本教程
# personal_assistant用于存放本教程所使用的东西
mkdir /root/personal_assistant && cd /root/personal_assistant
mkdir /root/personal_assistant/xtuner019 && cd /root/personal_assistant/xtuner019

# 拉取 0.1.9 的版本源码
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 无法访问github的用户请从 gitee 拉取:
# git clone -b v0.1.9 https://gitee.com/Internlm/xtuner

# 进入源码目录
cd xtuner

# 从源码安装 XTuner
pip install -e '.[all]'

2、启动程序

3、微调前测试

模型答复是ai小助手。

4、微调后测试

模型认定自己的新身份，jin的小助手，反复询问，它都能识别自己的身份。