实践分享|书生·浦语 InternLM2.5 PyTorch模型微调的最佳实践

最新推荐文章于 2024-09-30 10:24:55 发布
最新推荐文章于 2024-09-30 10:24:55 发布
阅读量1k 收藏 15
点赞数 19
文章标签： pytorch 人工智能 ai 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87243659/article/details/142340227
版权

引言

2024年6月30日，上海人工智能实验室发布InternLM2.5-7B系列模型，包括InternLM2.5-7B、InternLM2.5-7B-Chat和InternLM2.5-7B-Chat-1M。具体介绍如下：

  • InternLM2.5-7B：在通用领域和领域增强语料进一步预训练，在评估中拥有良好的语言能力。
  • InternLM2.5-7B-Chat：通过监督微调（SFT）和在线RLHF在InternLM2.5的基础上进一步对齐。InternLM2.5-7B-Chat表现出更好的指令遵循、聊天体验和函数调用能力。
  • InternLM2.5-7B-Chat-1M：InternLM2.5-7B-Chat的1M长上下文版本。InternLM2.5-7B-Chat-1M支持百万字超长上下文推理，同时保持与InternLM2.5-7B-Chat相同的性能。

相比上一代模型，InternLM2.5具有三个突出亮点：

  • 出色的推理能力：数学推理能力达到世界先进水平，超越Llama3、Gemma2-9B等模型。
  • 1M上下文窗口： 采用业界流行的“大海捞针”来评估模型的长文本信息召回能力，InternLM2.5在1M token范围内实现了几乎完美的大海捞针召回。在LongBench等长上下文任务上具有领先性能。
  • 工具使用能力更强：具有强大的工具调用能力，比如可以针对复杂问题，搜索上百个网页并进行整合分析。

通过开源工具OpenCompass对InternLM2.5在几个重要的评测集上进行了评测，部分评测结果如下表所示，欢迎访问OpenCompass 榜单获取更多的评测结果。

Base Model

BenchmarkInternLM2.5-7BLLaMA-3-8BYi-1.5-9B
MMLU(5-shot)71.666.471.6
CMMLU(5-shot)79.151.074.1
BBH(3-shot)70.159.771.1
MATH(4-shot)34.016.431.9
GSM8K(4-shot)74.854.374.5
GPQA(0-shot)31.331.327.8

Chat Model

BenchmarkInternLM2.5-7B-ChatLlama3-8B-InstructGemma2-9B-ITYi-1.5-9B-ChatGLM-4-9B-ChatQwen2-7B-Instruct
MMLU (5-shot)72.868.470.971.071.470.8
CMMLU (5-shot)78.053.360.374.574.580.9
BBH (3-shot CoT)71.654.468.2*69.669.665.0
MATH (0-shot CoT)60.127.946.951.151.148.6
GSM8K (0-shot CoT)86.072.988.980.185.382.9
GPQA (0-shot)38.426.133.837.936.938.4
  • 以上评测结果基于OpenCompass获得（部分数据标注 * 代表数据来自原始论文），具体测试细节可参见OpenCompass中提供的配置文件。
  • 评测数据会因OpenCompass的版本迭代而存在数值差异，请以OpenCompass最新版的评测结果为主。

环境准备

安装Ascend CANN Toolkit和Kernels

安装方法请参考安装教程或使用以下命令

# 请替换 URL 为 CANN 版本和设备型号对应的 URL
# 安装 CANN Toolkit
wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run
bash Ascend-cann-toolkit_8.0.RC1.alpha001_linux-"$(uname -i)".run --install

# 安装 CANN Kernels
wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C17SPC701/Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run
bash Ascend-cann-kernels-910b_8.0.RC1.alpha001_linux.run --install

# 设置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh

安装openMind Hub Client以及openMind Library

  • 安装openMind Hub Client
pip install openmind_hub
  • 安装openMind Library，并安装PyTorch框架及其依赖。
pip install openmind[pt]

更详细的安装信息请参考openMind官方的环境安装章节。

安装LLaMa Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch-npu,metrics]"

模型链接和下载

InternLM2.5模型系列由社区开发者在魔乐社区贡献，包括：

  • InternLM2.5-7B：https://modelers.cn/models/AI-Research/internlm2_5-7b
  • InternLM2.5-7B-Chat：https://modelers.cn/models/AI-Research/internlm2_5-7b-chat
  • InternLM2.5-7B-Chat-1M：https://modelers.cn/models/AI-Research/internlm2_5-7b-chat-1m

通过Git从魔乐社区下载模型的repo，以InternLM2.5-7B-Chat为例：

# 首先保证已安装git-lfs（https://git-lfs.com）
git lfs install
git clone https://modelers.cn/AI-Research/internlm2_5-7b-chat.git

模型推理

用户可以使用openMind Library或者LLaMa Factory进行模型推理，以InternLM2.5-7B-Chat为例，具体如下：

  • 使用openMind Library进行模型推理

新建推理脚本inference_internlm2_5_7b_chat.py，推理脚本内容为：

import torch
from openmind import AutoTokenizer, AutoModelForCausalLM

# 若模型已下载，可替换成模型本地路径
tokenizer = AutoTokenizer.from_pretrained("AI-Research/internlm2_5-7b-chat", trust_remote_code=True)
# `torch_dtype=torch.float16`可以令模型以float16精度加载，否则transformers会将模型加载为float32，导致显存不足
model = AutoModelForCausalLM.from_pretrained("AI-Research/internlm2_5-7b-chat", torch_dtype=torch.float16, trust_remote_code=True).npu()
model = model.eval()
response, history = model.chat(tokenizer, "你好，请提供三个管理时间的建议。", history=[])
print(response)

执行推理脚本：

python inference_internlm2_5_7b_chat.py

推理结果如下：

在这里插入图片描述

  • 使用LLaMa Factory与模型交互

在LLaMa Factory路径下新建examples/inference/internlm2_5_7b_chat.yaml推理配置文件，文件内容为：

model_name_or_path: xxx # 当前仅支持本地加载，填写InternLM2.5-7B-Chat本地权重路径
template: intern2

使用以下命令与模型进行交互：

llamafactory-cli chat examples/inference/internlm2_5_7b_chat.yaml

交互结果如下：

在这里插入图片描述

模型微调

我们使用单张昇腾NPU，基于LLaMa Factory框架，采用LLaMa Factory提供的自我认知数据集进行Lora微调，改变模型对自己和作者的认知。

数据集

自我认知数据集在LLaMa Factory仓的data/identity.json路径下，这里使用文本编辑器将数据集的{{name}}和{{author}}分别替换为“小昇”和"openMind"。替换后的示例如下：

在这里插入图片描述

微调

在LLaMa Factory路径下新建examples/train_lora/internlm2_5_7b_chat_lora_sft.yaml微调配置文件，微调配置文件如下：

### model
model_name_or_path: xxx # 当前仅支持本地加载，填写InternLM2.5-7B-Chat本地权重路径

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: identity
template: intern2
cutoff_len: 128
preprocessing_num_workers: 16

### output
output_dir: saves/internlm2_5_7b_chat/lora/sft
logging_steps: 5
save_steps: 20 
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 8
gradient_accumulation_steps: 1
learning_rate: 1.0e-4
num_train_epochs: 5.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

通过下面的命令启动微调：

export ASCEND_RT_VISIBLE_DEVICES=0
llamafactory-cli train examples/train_lora/internlm2_5_7b_chat_lora_sft.yaml

微调可视化

在这里插入图片描述

微调结果

微调结束后，在LLaMa Factory路径下新建examples/inference/internlm2_5_7b_chat_lora_sft.yaml推理配置文件，配置文件内容为：

model_name_or_path: xxx # 当前仅支持本地加载，填写InternLM2.5-7B-Chat本地权重路径
adapter_name_or_path: saves/internlm2_5_7b_chat/lora/sft/checkpoint-60/ 
template: intern2
finetuning_type: lora

通过下面的命令启动推理：

llamafactory-cli chat examples/inference/internlm2_5_7b_chat_lora_sft.yaml

推理结果为：

  • 训练前生成样例

    • 问题：您好，请介绍一下你自己

      在这里插入图片描述

  • 训练后生成样例

    • 问题：您好，请介绍一下你自己

      在这里插入图片描述

  • 微调后通用能力测试

    • 问题1：请介绍一下故宫
      *在这里插入图片描述

    • 问题2：请问怎么做糖醋排骨？

    在这里插入图片描述

结语

本次实践采用的是一款应用使能开发套件openMind，在调用数据集训练、推理、微调等方面挺方便顺畅的。朋友们可以试试，也欢迎分享你们的经验，一起交流：

https://modelers.cn

openMind，一款应用使能开发套件，为各大模型社区提供支持，提供海量模型/数据托管能力、在线推理体验服务，同时具备模型训练、微调、评估、推理等全流程开发能力。开发者通过简单的API接口即可实现微调、推理等任务，极大缩短开发周期，助力AI技术的创新发展。目前，openMind已支持欢迎在魔乐等AI生态社区，欢迎体验。

相关链接：

[1] openMind Library介绍：https://modelers.cn/docs/zh/openmind-library/overview.html

[2] openMind Hub Client介绍：https://modelers.cn/docs/zh/openmind-hub-client/overview.html

[3] 一文教你10分钟体验魔乐社区：https://modelers.cn/docs/zh/community/quick_start.html

openMind社区
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1737
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【第 2 节】轻松玩转书生·浦语大模型趣味 Demo
熊猫小妖的AI世界
04-17 1031
1.2.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
xxue345678的博客
09-19 4928
进行微调。在这里，我们将展示可直接运行的demo。
Qwen2.5 PyTorch模型微调入门实战
qq_35485206的博客
09-27 742
1 引言Qwen2.5是Qwen大型语言模型系列的最新成果。对于Qwen2.5，通义千问团队发布了从0.5到720亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5相比Qwen2带来了以下改进：显著增加知识量，在编程与数学领域的能力得到极大提升，这得益于我们在这些领域的专业专家模型。在遵循指令、生成长文本(超过8K...
（第三期）书生大模型实战营——LMDeploy量化部署进阶实践
a_blade_of_grass的博客
08-12 830
教程原文在。
阿里通义千问开源Qwen2.5系列模型：Qwen2-VL-72B媲美GPT-4
weixin_41446370的博客
09-19 2049
通义千问团队宣布，继Qwen2发布三个月后，Qwen家族的最新成员——Qwen2.5系列语言模型正式开源。这标志着可能是历史上最大规模的开源发布之一，包括了通用语言模型Qwen2.5，以及专门针对编程和数学领域的Qwen2.5-Coder和Qwen2.5-Math模型。Qwen2.5系列模型在最新的大规模数据集上进行了预训练，数据集包含高达18T tokens，相较于Qwen2，新模型在知识获取、编程能力和数学能力方面均有显著提升。
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
yierbubu1212的博客
09-29 1757
准备工作1.数据集准备（例:民法典.txt）2.服务器准备（阿里云 DSW 白嫖）3.环境配置pip 升级模型下载微调助手4.数据集处理脚本文件4.1文本分割(bert-base-chinese)4.2数据集生成4.3.1数据集转换（只有一个数据集）alpaca格式4.3.2训练集验证集划分（两个数据集）alpaca格式5.开始微调5.1配置文件修改5.2进入微调ui5.3修改参数即可训练5.4训练结果6.测试评估7.模型对话8.模型合并9.模型量化。
浦语灵笔InternLM2.5-7B发布，在数学推理方面超越 Llama3 和 Gemma2-9B
CodeMicheal的博客
07-09 1361
浦语·灵笔2.5是基于书生·浦语2大语言模型研发的突破性的图文多模态大模型，仅使用 7B LLM 后端就达到了 GPT-4V 级别的能力。浦语·灵笔2.5使用24K交错的图像-文本上下文进行训练，通过RoPE外推可以无缝扩展到96K长的上下文。这种长上下文能力使浦语·灵笔2.5在需要广泛输入和输出上下文的任务中表现出色其具有以下特性：卓越的推理性能：在数学推理方面取得了同量级模型最优精度，超越了 Llama3 和 Gemma2-9B。
PyTorch模型保存与加载的最佳实践指南
07-08
本文详细介绍了PyTorch中模型保存与加载的最佳实践，包括保存整个模型、仅保存和加载模型的状态字典、保存和加载训练状态、使用torch.jit序列化模型等。通过实际的代码示例和应用场景，我们展示了这些技术在模型保存...
PyTorch 微调终极指南：第 1 部分 — 预训练模型及其配置
gongdiwudu的专栏
08-09 6808
如今，在训练深度学习模型时，通过在自己的数据上微调预训练模型来迁移学习已成为首选方法。通过微调这些模型，我们可以利用他们的专业知识并使其适应我们的特定任务，从而节省宝贵的时间和计算资源。本文分为四个部分，侧重于微调模型的不同方面。
lhy_PM2.5_pytorch.zip
04-14
《李宏毅2020机器学习作业一：基于Pytorch的PM2.5预测——线性回归模型的实现》 Pytorch作为一个强大的深度学习框架，不仅提供了灵活的神经网络构造方式，还支持高效的张量运算，使得在解决实际问题时更加便捷。本...
Qwen2.5 模型使用初体验
u010483897的博客
09-25 328
qwen2.5 vllm部署&推理
RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_84495872的博客
06-12 1440
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
使用 lmdeploy 部署 internlm/internlm2_5-7b-chat
engchina的专栏
07-13 1686
使用 lmdeploy 部署 internlm/internlm2_5-7b-chat
书生浦语：开源 InternLM 2.5 系列模型
weixin_51674085的博客
07-04 348
系列模型在数学推理、长上下文处理方面性能优异，支持百万上下文，可以在这里。
书生·浦语2.5开源，推理能力再创新标杆
qq_39967751的博客
07-10 1236
书生·浦语以持续的高质量开源赋能创新，坚持开源和免费商用，面向实际应用场景提供更好的模型和工具链。
qwen.cpp和模型下载方式
qq_44576434的博客
03-02 1178
139行assert中的!=应改为==，否则在debug模式下无法正常运行。将CMakeLists.txt的Release改成Debug。
(Qwen)通义千问大模型安装部署教程2024最新
m0_74077233的博客
05-14 5902
通义千问大模型安装部署教程2024最新
基于 Qwen2.5-0.5B 微调训练 Ner 命名实体识别任务
最新发布
小毕超博客
09-30 543
Qwen2.5 是 Qwen 大型语言模型的最新系列，参数范围从 0.5B 到 72B 不等。大大提高了编码和数学能力。在指令跟随、生成长文本（超过 8K 个标记）、理解结构化数据（例如表格）以及生成结构化输出（尤其是 JSON）方面有了显著改进。
PyTorch模型保存与加载：实践教程与顺序容器利用
在深度学习领域，PyTorch 是一种广泛使用的开源库，特别是对于构建和训练神经网络模型。本文档详细介绍了如何在 PyTorch 中有效地管理模型的状态以及数据加载流程，这两个方面是深度学习开发中的关键环节。 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值