Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）

雪碧没气阿

于 2024-08-14 09:55:12 发布

阅读量643

点赞数 36

文章标签：人工智能大语言模型 ai大模型 llama Agent 大模型微调大模型应用

本文链接：https://blog.csdn.net/xxue345678/article/details/141182554

版权

前言

Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。考虑到国内用户对Agent场景的需求，魔搭社区LLM&AIGC模型微调推理框架SWIFT基于Llama3-8b-instruct原始版本训练了通用中文模型，并保留且适配了中文Agent能力，这是开源社区中率先完整适配中文环境的通用Agent Llama3模型，后续会有更完整的评测报告产出。

模型链接：

https://modelscope.cn/models/swift/Llama3-Chinese-8B-Instruct-Agent-v1/summary

使用方式

推荐用户直接使用swift进行推理或部署：

# 安装依赖
pip install ms-swift -U

# 推理
swift infer --model_type llama3-8b-instruct --model_id_or_path swift/Llama3-Chinese-8B-Instruct-Agent-v1

# 部署
swift deploy --model_type llama3-8b-instruct --model_id_or_path swift/Llama3-Chinese-8B-Instruct-Agent-v1

本模型可以联合ModelScopeAgent框架使用，请参考：

https://github.com/modelscope/swift/blob/main/docs/source/LLM/Agent%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md#%E6%90%AD%E9%85%8Dmodelscope-agent%E4%BD%BF%E7%94%A8

也欢迎开发者基于本模型及后续产出的v2或v3版本模型进行二次微调以获取更好的能力。

下面介绍如何使用SWIFT框架训练Llama3中文Agent模型

环境准备

我们使用了魔搭官方框架SWIFT进行模型训练：https://github.com/modelscope/swift/tree/main，开发者如果希望训练Llama3中文版本可以参考下面的安装方式：
在这里插入图片描述

数据准备

为了适配中文及Agent场景，我们针对语料进行了一定混合配比，训练Llama3使用的语料如下：

- COIG-CQIA：

https://modelscope.cn/datasets/AI-ModelScope/COIG-CQIA/summary 该数据集包含了中国传统知识、豆瓣、弱智吧、知乎等中文互联网信息

- 魔搭通用Agent训练数据集:

https://modelscope.cn/datasets/AI-ModelScope/ms-agent-for-agentfabric/summary

- alpaca-en:

https://modelscope.cn/datasets/AI-ModelScope/alpaca-gpt4-data-en/summary

- ms-bench魔搭通用中文问答数据集:

https://modelscope.cn/datasets/iic/ms_bench/summary

SWIFT支持很多其他对训练有帮助的开源数据集，如

Firefly中文数据集
DeepCtrl多语数据集
Alpaca/ShareGPT

如开发者希望用其他数据集训练Llama3，只需要在命令行指定–dataset firefly-all-zh等即可使用它们。完整支持的数据集列表可以查看：https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E6%94%AF%E6%8C%81%E7%9A%84%E6%A8%A1%E5%9E%8B%E5%92%8C%E6%95%B0%E6%8D%AE%E9%9B%86.md#%E6%95%B0%E6%8D%AE%E9%9B%86

我们将MLP和Embedder加入了lora_target_modules. 你可以通过指定–lora_target_modules ALL在所有的linear层(包括qkvo以及mlp和embedder)加lora. 这通常是效果最好的。

超参数	值
lr	5e-5
epoch	2
lora_rank	8
lora_alpha	32
lora_target_modules	ALL
batch_size	2
gradient_accumulation_steps	16

训练使用8卡进行，环境准备完成后，只需要如下命令即可开启训练：

NPROC_PER_NODE=8 \
swift sft \
  --model_type llama3-8b-instruct \  
  --dataset ms-agent-for-agentfabric-default alpaca-en ms-bench ms-agent-for-agentfabric-addition coig-cqia-ruozhiba coig-cqia-zhihu coig-cqia-exam coig-cqia-chinese-traditional coig-cqia-logi-qa coig-cqia-segmentfault coig-cqia-wiki \  
  --batch_size 2 \  
  --max_length 2048 \  
  --use_loss_scale true \  
  --gradient_accumulation_steps 16 \  
  --learning_rate 5e-5 \  
  --use_flash_attn true \  
  --eval_steps 500 \  
  --save_steps 500 \  
  --train_dataset_sample -1 \  
  --dataset_test_ratio 0.1 \  
  --val_dataset_sample 10000 \  
  --num_train_epochs 2 \  
  --check_dataset_strategy none \  
  --gradient_checkpointing true \  
  --weight_decay 0.01 \  
  --warmup_ratio 0.03 \  
  --save_total_limit 2 \  
  --logging_steps 10 \  
  --sft_type lora \  
  --lora_target_modules ALL \  
  --lora_rank 8 \  
  --lora_alpha 32

为了提高ReACT格式的准确率，我们将部分loss字段的权重提高以保留中文训练中的agent能力表现。

训练后的模型可以在魔搭官网上下载：https://modelscope.cn/models/swift/Llama3-Chinese-8B-Instruct-Agent-v1/summary

推理效果

该模型具备良好的中文问答能力，示例如下：

通用问答：

逻辑题：

对联：

藏头诗：

古文翻译：

代码能力：

评测

我们使用swift的eval命令对训练模型的前后进行了通用能力评测，结果如下：

评测模型	ARC	CEVAL	GSM8K
Llama3-8b-instruct	0.7645	0.5089	0.7475
Llama3-Chinese-8B-Instruct-Agent-v1	0.7577	0.4903	0.652

英文GSM8K能力下降了8个点左右，经过消融实验我们发现去掉alpaca-en语料会导致GSM8K下降至少十个点以上。

开发者也可以使用swift框架对其他模型进行评测，命令非常简单：

swift eval --model_type llama3-8b-instruct --model_id_or_type LLM-Research/Meta-Llama-3-8B-Instruct --infer_backend pt --eval_dataset ceval arc

和ModelScope-Agent联用

在ModelScope-Agent中使用可以参考我们的官方文档：https://github.com/modelscope/swift/blob/main/docs/source/LLM/Agent%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md#%E5%9C%A8%E5%91%BD%E4%BB%A4%E8%A1%8C%E4%B8%AD%E4%BD%BF%E7%94%A8agent

我们在服务部署后，可以在AgentFabric中校验其接口调用效果，以天气查询为例，可以看到：

模型可以按照system要求对查询进行补全。

文生图

图片解释

待提升工作

原版Llama3英文模型具备一定的CoT能力，在训练为中文时引入了一定的知识遗忘问题，此问题在V2版本中会继续解决
英文语料的比例需要调整，以保证原英文能力（如GSM8K这类敏感指标）

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

雪碧没气阿

关注

36
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）

Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。考虑到国内用户对Agent场景的需求，魔搭社区LLM&AIGC模型微调推理框架SWIFT基于Llama3-8b-instruct原始版本训练了。
复制链接

扫一扫