intern基础岛第五关：XTuner 微调个人小助手认知

于 2024-09-27 20:37:28 发布
阅读量184 收藏 1
点赞数 4
文章标签： python 人工智能 语言模型 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45533909/article/details/142601912
版权

目标

使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知

复现过程

原本的样子
在这里插入图片描述

构造微调数据

在这里插入图片描述

微调设置

在这里插入图片描述可以适当提高batch size。以及max epochs。我直接调到6个epochs，让模型过拟合。

在这里插入图片描述显存占用情况
在这里插入图片描述

转换格式合并之后，打开web

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

最终微调效果

在这里插入图片描述
详细操作过程参考：
https://github.com/InternLM/Tutorial/tree/camp3/docs/L1/XTuner
https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md
https://www.bilibili.com/video/BV1tz421B72y/?spm_id_from=333.788&vd_source=93c7668f83412ac7e55260171084accc

清辉依然
关注
《书生大模型实战营第3期》基础岛 第5关 ：XTuner 微调个人小助手认知
shiter编写程序的艺术
08-11 972
当我们在测试完模型认为其满足我们的需求后，就可以对模型进行量化部署等操作了，这部分的内容在之后关于 LMDeploy 的课程中将会详细的进行讲解，敬请期待后续的课程吧！对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。对于很多的初学者而言，安装好环境意味着成功了一大半！在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。
书生大模型实战营基础岛-第四关：XTuner微调个人小助手认知
weixin_57128596的博客
08-02 721
微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。（欢迎Star）！XTuner 一个大语言模型&多模态模型微调工具箱。
基础岛-第五关 XTuner 微调个人小助手认知 笔记
晓飞趋势
08-11 1117
由 MMRazor 和 MMDeploy 联合开发。🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅xtuner 高阶教程LoRA（Low-Rank Adaptation）是一种使用低精度权重对大型预训练语言模型进行微调的技术，它的核心思想是在不改变原有模型权重的情况下，通过添加少量新参数来进行微调。
L1-5:XTuner 微调个人小助手认知任务
wandercollege的博客
08-28 982
安装基础的工具是一切的前提，只有安装了 XTuner 我们才能够去执行后续的操作。：在完成 XTuner 的安装后，我们下一步就需要去明确我们自己的微调目标了。使用xtuner train ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py进行模型训练。配置文件：xtuner copy-cfg internlm2_chat_1_8b_qlora_alpaca_e3 .训练后的目录结构（112626那个目录是之前报错的目录文件）收到小迷弟一枚哈哈哈。
InternStudio大模型之路（九）：XTuner微调个人小助手认知
weixin_56460049的博客
08-24 856
本节主要重点是带领大家实现个人小助手微调，如果想了解微调相关的基本概念，可以访问XTuner微调前置基础。我们需要前往 InternStudio 中创建一台开发机进行使用。选择开发机类型：个人开发机，输入开发机名称：XTuner微调，选择开发机镜像：Cuda12.2-conda。资源配置可以选择 30% （如果有更高资源可以使用，也可以选择更高的资源配置），然后点击 “立即创建” 按钮创建开发机。进入开发机之后，请确保自己已经克隆了Tutorial仓库的资料到本地。 2、创建虚拟环境 在安装 XTun
基础岛第五关-书生大模型-XTuner 微调个人小助手认知
weixin_43808729的博客
08-02 628
对于在 InternStudio 上运行的小伙伴们，可以不用通过 HuggingFace、OpenXLab 或者 Modelscope 进行模型的下载，在开发机中已经为我们提供了模型的本地文件，直接使用就可以了。为了让模型能够认清自己的身份弟位，在询问自己是谁的时候按照我们预期的结果进行回复，我们就需要通过在微调数据集中大量加入这样的数据。在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。
XTuner微调个人小助手认知
forinout的博客
08-06 1795
对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。
书生·浦语大模型实战营之XTuner 微调个人小助手认知
段智华的博客
04-12 1264
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果， 用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。
书生·浦语 大模型实战营（第三期） 基础岛 第5关 XTuner 微调个人小助手认知
Pythonliu7的博客
08-18 709
微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。
intern-zappos-thilak:个人资料申请 Zappos-Live 链接
06-26
在本项目中，“intern-zappos-thilak”似乎是一个实习生的个人项目，与Zappos-Live有关，Zappos是一家知名的在线鞋类和服装零售商，而“Live”可能指的是其客户服务或互动平台的一部分。这个项目的重点是通过...
frontend-intern-hw-2021dcard:Dcard 2021 Web前端实习生作业
04-03
Create React App入门 该项目是通过引导的。 可用脚本 在项目目录中，可以运行： yarn start 在开发模式下运行应用程序。 打开在浏览器中查看它。 如果您进行编辑，则页面将重新加载。 您还将在控制台中看到任何...
书生·浦语大模型实战营之 XTuner 微调 Llama 3 个人小助手认知
段智华的博客
04-22 140
书生·浦语大模型实战营之 XTuner 微调 Llama 3 个人小助手认知Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！开源同时社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。
【第4讲】XTuner 微调 LLM:1.8B、多模态、Agent
熊猫小妖的AI世界
04-22 664
视频教程文档连接作业xtuner官网基础作业（结营必做）训练自己的小助手认知（记录复现过程并截图）进阶作业将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab（优秀学员必做）复现多模态微调（优秀学员必做）- 2 种不同训练范式- 数据处理的一般过程原始数据 -> 标注格式数据 -> 添加对话模板 -> tokenized数据 ->添加label -> 开始训练(1) 标准格式数据（2）添加对话模板对话模板有3种角色：（3）微调方案XTuner 的运行原理。
简单题101. 对称二叉树 （python）20240922
Sep21m_wyy的博客
09-22 387
【代码】简单题101. 对称二叉树 （python）20240922。
第二百五十四节 JPA教程 - JPA 多对多映射示例
最新发布
2301_78772942的博客
09-27 454
第二百五十四节 JPA教程 - JPA 多对多映射示例
python 实现harmonic series调和级数算法
luthane的博客
09-24 884
Hn∑k1n1kHn​k1∑n​k1​其中，𝑛n 是正整数。这个级数是由调和数列（Harmonic sequence）的各元素相加所得的和。调和级数的名字源于泛音及泛音列，即一条振动的弦的泛音的波长依次是基本波长的12131421​31​41​等。调和级数的性质发散性：调和级数是一个发散的无穷级数，也就是说，它的部分和随着项数的增加而无限增长。
ubuntu安装libtorch
meng_152634的博客
09-25 693
nouveau是由第三方为NVIDIA显卡开发的一个开源3D驱动，ubuntu默认集成了nouveau驱动，安装NVIDIA驱动前必须禁用系统自带的显卡驱动nouveau，否则安装NVIDIA驱动时会报错。，一定要确定好安装的CUDA版本是否支持显卡的算力，否则安装成功也无法使用GPU加速。如果cmake版本低于3.18，会出现下面的报错，这是由于低于3.18的cmake不支持CUDA17的编译，需要更新cmake版本。因为安装的CUDA版本为12.1，这里选择最新版的CUDNN 9.4.0进行安装。
Python 类class的用法详解
十七次方
09-22 809
在 Python 中，使用 class 关键字来定义一个类。类定义通常包括类变量、实例变量和方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值