使用PAI × LLaMA Factory 微调 Llama3 模型

活动地址：使用 PAI × LLaMA Factory 微调 Llama3 模型实现角色扮演

活动时间：7月25日- 9月1日

活动任务：使用 PAI 平台及 LLaMA Factory 训练框架完成模型的中文化与角色扮演微调和评估，搭建专属“ AI 诸葛亮”问答机器人，7×24小时为你出谋划策！

活动玩法

1.热门任务

完成PAI × LaMA Factory 微调 Llama3 模型实验体验，搭建专属“ AI 诸葛亮”问答机器人，并上传对话截图，即可领取户外运动腰包（限量200个），先到先得。

2. 邀请挑战

邀请好友完成任务一场景体验，参与PK赢取大奖！

※ 详情可见活动规则

教程简述

LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过2万。本教程将基于Meta AI开源的Llama-3 8B模型，介绍如何使用PAI平台及LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估。

本教程使用PAI ×LLaMA Factory 微调 Llama3 模型后，问答机器人模仿诸葛亮的语气对话效果如下：

基于本教程可以体验：

👍新用户可免费领取价值万元的人工智能平台PAI试用资源

👍学会如何快速在阿里云上创建一个交互式训练开发环境

👍学会如何在DSW中基于LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估

👍学会如何在WebUI中进行知识问答

答疑交流群

如需技术支持，请在钉钉搜索群号「52485000325」，加入群聊

实验教程

准备环境和资源

领取交互式建模PAI-DSW免费试用权益，并准备PAI工作空间

前往活动页面，领取交互式建模PAI-DSW产品免费试用资源包

• 对于交互式建模 PAI-DSW 的新用户，阿里云提供了5000CUH 的免费试用资源，可以在活动页面中直接领取（试用规则请参照阿里云免费试用：https://free.aliyun.com/）；或可以购买交互式建模 PAI-DSW 资源包参与活动，购买链接：PAI-DSW 100CUH资源包，价格 59 元起；如不购买资源包，PAI-DSW 会按量进行计费，计费标准详见阿里云产品定价。

开通机器学习PAI并创建默认工作空间前往PAI控制台，其中关键参数配置如下：

• 本教程地域选择：华北2（北京）。您也可以根据情况选择华东1（杭州）、华东2（上海）、华南1（深圳）地域。

• 组合开通：本教程无需使用其他产品，去除勾选MaxCompute和DataWorks产品。

• 服务角色授权：单击去授权，完成服务角色授权。

说明：更多详细内容，请参见开通并创建默认工作空间。

进入PAI NotebookGallery

登录PAI控制台。在左侧导航栏中，选择快速开始>NotebookGallery。

在Notebook Gallery页面，单击LLaMA Factory：微调LLaMA3模型实现角色扮演。

在详情页面，您可查看到预置的使用LLaMA Factory微调Llama3模型教程，单击右上角的在DSW中打开。

在请选择对应实例对话框中，单击新建DSW实例。

创建PAI-DSW实例

在配置实例页面，自定义输入实例名称，例如DSW_LlamaFactory。

在配置实例页面的资源配额区域，GPU规格分类下的ecs.gn6v-c8g1.2xlarge或ecs.gn7i-c8g1.2xlarge，建议优先选择ecs.gn7i-c8g1.2xlarge。说明：

• 若您是PAI产品新用户，请再次确认是否已领取免费使用权益。领取方式：前往活动页【链接待更新】，根据页面提示领取免费试用权益。若您未领取免费试用权益，或不符合免费试用条件，或历史已领取且免费试用额度用尽或到期，完成本实验将产生扣费，大约为10-30元/小时。

• 请在实验完成后，参考最后一章节清理及后续，停止/删除实例，以免产生不必要的扣费或资源消耗。

在配置实例页面的选择镜像区域，请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。

在配置实例页面，未提及的参数保持默认即可，单击下一步。

在确认订单页面，检查订单的资源配置是否为ecs.gn6v-c8g1.2xlarge或ecs.gn7i-c8g1.2xlarge，选择镜像是否为modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04，信息确认无误后，单击创建实例。

在交互式建模（DSW）页面，请您耐心等待大约5分钟左右，当状态变为运行中时，表示实例创建成功。

打开实例并下载框架、数据集

在选择对应实例对话框中，单击DSW实例右侧的

图标，在DSW实例中选择您刚创建的实例，单击确定。

运行Notebook教程文件安装LLaMA Factory在llama_factory.ipynb文件的安装LLaMA Factory区域，根据教程指引，依次运行命令。说明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。

下载数据集在llama_factory.ipynb文件的下载数据集区域，根据教程指引，依次运行命令。说明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。

WebUI界面零代码实现模型微调

三步骤、零代码、WebUI界面完成模型微调，让开源大语言模型Llama3实现中文能力增强。

启动Web UI

单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。

然后单击返回的URL地址，进入Web UI页面。

配置参数

进入WebUI后，可以切换到中文（zh）。首先配置模型，本教程选择LLaMA3-8B-Chat模型，微调方法则保持默认值lora，使用LoRA轻量化微调方法能极大程度地节约显存。

数据集使用上述步骤下载的train.json，单击预览数据集。

在弹窗中，您可以预览train.json数据集。

设置学习率为1e-4，梯度累积为2，有利于模型拟合。如果显卡是V100，计算类型保持为fp16；如果使用了A10，可以更改计算类型为bf16。说明：创建PAI-DSW实例时，如果GPU规格选择ecs.gn6v-c8g1.2xlarge，则显卡是V100；如果GPU规格选择ecs.gn7i-c8g1.2xlarge，则显卡是A10。

单击LoRA参数设置展开参数列表，设置LoRA+学习率比例为16，LoRA+被证明是比LoRA学习效果更好的算法。在LoRA作用模块中填写all，即将LoRA层挂载到模型的所有线性层上，提高拟合效果。

将输出目录修改为train_llama3，训练后的LoRA权重将会保存在此目录中。单击预览命令可展示所有已配置的参数，您如果想通过代码运行微调，可以复制这段命令，在命令行运行。然后单击开始。

启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要20分钟，下方显示训练完毕代表微调成功。

模型评估

微调完成后，点击页面顶部的「刷新适配器」，然后点击适配器路径，即可弹出刚刚训练完成的LoRA权重，点击选择下拉列表中的train_llama3选项，在模型启动时即可加载微调结果。

选择「Evaluate&Predict」栏，在数据集下拉列表中选择「eval」（验证集）评估模型。更改输出目录为eval_llama3，模型评估结果将会保存在该目录中。最后点击开始按钮启动模型评估。

模型评估大约需要5分钟左右，评估完成后会在界面上显示验证集的分数。其中ROUGE分数衡量了模型输出答案（predict）和验证集中标准答案（label）的相似度，ROUGE分数越高代表模型学习得更好。

模型对话

选择「Chat」栏，确保适配器路径是train_llama3，点击「加载模型」即可在Web UI中和微调模型进行对话。

在页面底部的对话框输入想要和模型对话的内容，点击「提交」即可发送消息。发送后模型会逐字生成回答，从回答中可以发现模型学习到了数据集中的内容，能够恰当地模仿诸葛亮的语气对话。

点击「卸载模型」，点击“×”号取消适配器路径，再次点击「加载模型」，即可与微调前的原始模型聊天。

重新向模型发送相同的内容，发现原始模型无法模仿诸葛亮的语气生成中文回答。

清理及后续

• 如果无需继续使用DSW实例，您可以按照以下操作步骤停止或删除DSW实例。

• 登录PAI控制台。

• 在页面左上方，选择DSW实例的地域。

• 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

• 在工作空间页面的左侧导航栏选择模型开发与训练>交互式建模（DSW），进入交互式建模（DSW）页面。

• 单击目标实例操作列下的停止，成功停止后即停止资源消耗。

• 如果您不再需要DSW实例，单击目标实例操作列下的删除。

• 领取免费资源包后，请在免费额度和有效试用期内使用。如果免费额度用尽或试用期结束后，继续使用计算资源，会产生后付费账单。

请前往节省计划页面，查看抵扣包剩余金额和过期时间。

• 如果需要继续使用DSW实例，请务必至少在试用到期1小时前为您的阿里云账号充值，到期未续费的DSW实例会因欠费而被自动停止。

• 在试用有效期期间，您还可以继续使用DSW实例进行模型训练和推理验证。

总结

本次教程介绍了如何使用PAI和LLaMA Factory框架，基于轻量化LoRA方法微调Llama-3模型，使其能够进行中文问答和角色扮演，同时通过验证集ROUGE分数和人工测试验证了微调的效果。在后续实践中，可以使用实际业务数据集，对模型进行微调，得到能够解决实际业务场景问题的本地领域大模型。