Xtuner微调笔记

最新推荐文章于 2024-05-20 21:56:33 发布
最新推荐文章于 2024-05-20 21:56:33 发布
阅读量354 收藏 5
点赞数 7
分类专栏： 书生-浦语大模型训练营2 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a61022706/article/details/138283209
版权

Xtuner学习视频

两种微调范式

在这里插入图片描述
在指令微调的过程中，需要高质量的对话数据。
而构建高质量的对话（指令）数据，则涉及到以下流程
在这里插入图片描述

  1. 先通过system/user/assistant的json格式来构造对话模板，把问题和期望模型做出的回答通过这样的格式进行封装
  2. 不同的模型有不同的模板来区分system/user/assitant的字段，即一些特殊字符在这里插入图片描述
    真正喂给模型的东西是经过chat template包装后的内容
    在这里插入图片描述
    模型只会对【输入的信息里的assitant输出的答案进行loss计算】

微调方案

lora

在这里插入图片描述

Qlora

全参数微调是整个模型加载到内存中，并且所有参数的优化器状态也会加载
lora微调是整个模型参数加载到内存中，但是只加载lora的部分参数的优化器状态
qlora是整个模型的参数都以4bit的形式加载
在这里插入图片描述

凌漪_
关注
  • 7
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于InternLM_LLM-7B + xtuner 微调 并用lmdeploy量化的模型openxlab部署
01-17
基于InternLM_LLM-7B + xtuner 微调 并用lmdeploy量化的模型openxlab部署
XTuner 微调笔记+作业
2301_76609297的博客
05-03 185
XTuner 是一个大语言模型和多模态模型微调工具箱，由 MMRazor 和 MMDeploy 联合开发。🤓：以配置文件的形式封装了大部分微调场景，即使是零基础的非专业人员也能轻松开始微调。🍃：对于参数量为 7B 的LLM，微调所需的最小显存仅为 8GB，适用于消费级显卡和colab环境。
第四节课Xtuner微调笔记
qq_46052444的博客
01-13 407
2.知识增量（LoRa、QLoRa）大模型微调的两种方式。
书生·浦语训练营 第四讲：Xtuner微调 笔记
yidao0618的博客
04-19 759
LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。微调的目的是将通用模型转变为专用模型，弥合通用预训练模型与特定应用需求之间的差距，确保语言模型更贴近人类的期望。回顾第一讲中提到从模型到应用的典型流程如下：根据项目目标使用环境进行模型选型，如果业务场景需求比较复杂就需要进行模型微调，根据算力是否充足可以选择模型的全参数微调或部分参数微调。
XTuner 微调 LLM笔记
2302_79146973的博客
04-21 183
主要有两种微调范式，目的是使基座大模型成为垂直模型什么是指令微调————就是有对话数据要可以被系统利用不同模型有不同的输入/输出模板喂给模型的是拼装好的基座不变，在基座上微调lora，新建小linear，也就是adapter。主要目的是减少开销。
微调数字
10-31
微调数字
Python LoRA 大模型轻量级微调笔记.md
08-17
本文首先介绍了LoRA大模型轻量级微调的思想,然后给出了使用Python中的transformers库实现文本分类、语义理解等自然语言处理任务的示例代码,最后讨论了LoRA大模型轻量级微调在NLP领域的典型应用,如文本分类、语义理解...
MOSS微调数据转换脚本
06-06
将chatglm的三段式数据，转换成MOSS微调模型需要的数据格式
WEB转Flutter基础学习笔记（内含vue和flutter对比）
小易不止于搬砖的博客
05-17 670
笔者是一名web前端，记录在转栈flutter时的学习笔记，内涵和vue的对比，能够辅助前端同学更容易理解flutter
Pytorch学习笔记——Conv2d与Tensorboard的结合使用
weixin_50765519的博客
05-14 275
Conv2d是深度学习框架中用于执行二维卷积操作的函数或类。它接受输入数据(通常是图像)和卷积核作为参数，输出卷积特征图。这些特征图可以进一步用于分类、检测或其他计算机视觉任务。TensorBoard是一个强大的可视化工具，用于展示深度学习模型的各个方面。它可以展示模型的网络结构、参数分布、训练曲线以及图像、音频等媒体数据。通过使用TensorBoard，能够让研究人员和开发者可以更好地理解和调试模型，从而提高模型的性能和效果。
推荐系统学习笔记（一）
weixin_44880995的博客
05-15 146
同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰。反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测。10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层。保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献。同层互斥----避免一个用户被两个实验影响。不同层正交----每层独立随机分配用户。推全：新层，与其他层正交，90%用户。
并发编程笔记3--synchronize底层实现原理
qq_41056506的博客
05-17 737
Java中每一个对象都可以作为锁，具体的表现为以下3中方式当一个线程试图访问同步代码块时，他必须先获得锁。退出或抛出异常必须释放锁。那么锁到底存在哪里呢？锁中存储的是什么信息呢？从JVM规范中可以看到Synchronize在JVM中的实现原理，JVM是基于进入或退出Monitor对象来实现方法同步和代码块同步，但两者的实现细节不一样。1、代码块同步是使用monitorenter和monitorexit指令实现，2、而方法同步是使用另一种方式实现的，细节在JVM规范中并未详细说明。
Vue3实战笔记（23）—路由Vue-Router 实战指南（关于路由命名那点事儿）
山花的博客
05-15 1040
除了 path 之外，你还可以为任何路由提供 name。在 Vue Router 中，命名路由是一种通过指定名称来标识路由的方式，而不是使用路径。这为路由的跳转提供了一种更直观和易于维护的方式。命名路由特别有用，尤其是在链接到路由时，不必硬编码 URL，也不必在路由对象中查找路径字符串。},在这个例子中，我们给路径为 /user/:username的路由命名为 user。User在这两种情况下，路由将导航到路径 /user/erina。
【3dmax笔记】022：文件合并、导入、导出
「 刘一哥与GIS的故事」
05-15 54
3dmax高版本转低版本只能向下转换3个版本，可以选择导出为fbx，解除版本限制。只能合并 max 文件（高版本能够合并低版本模型，低版本不能合并高版本的模型）。导入格式有- - - fbx dwg skp 等等。
Vision Mamba代码笔记
最新发布
Zssss12的博客
05-20 416
事实上Vision Mamba重写了这个Mamba类，可以看到里边是由bimamba_type这个参数的（这其实也是Vision Mamba的主要贡献），执行如下代码。值得说明的一点是，如果你之前在跑其他的mamba，环境拿过来是不能直接直接用的，因为标准的Mamba类是没有bimamba_type这个参数的，所以，需要去Vim代码官网去找到mamba-1p1p1包，下载之后放自己项目里。按照官方readme.md配置，如果有问题照着下面这个链接改。我手敲的带中文注释的链接。
线性回归学习笔记
julyclj55555的博客
05-15 266
换句话说，多元线性回归可以有足够的精确性，但对于该精确性的合理解释会比较难，因为在多个属性中，可能有其中多组子属性的组合都能拟合到近似最优的模型效果，但对不同组的子属性的组合解释，会因为属性不同而有很大区别，这就是统计学家莱奥·布雷曼口中的“罗生门”（Rashomon）。它的值越大代表，拟合的结果越可信；将“罗生门”深挖一步，就是机器学习和统计学在认识论上的差异：统计学讲究的是“知其然，知其所以然”，它不仅要找出数据之间的关联性，还要挖出背后的因果性，给计算出的结果赋予令人信服的解释才是统计的核心。
canvas学习笔记-透明度
m0_51181022的博客
05-17 446
在上面画一系列半径递增的半透明圆。圆叠加得越多，原先所画的圆的透明度会越低。通过增加循环次数，画更多的圆，从中心到边缘部分，背景图会呈现逐渐消失的效果。方法类似，就多了一个用于设置色彩透明度的参数。它的有效范围是从 0.0（完全透明）到 1.0（完全不透明）。里所有图形的透明度，有效的值范围是0.0（完全透明）到1.0（完全不透明），默认值是1.0。第二个例子和上面的那个类似，不过不是画圆，而是画矩形。可以分别设置轮廓和填充样式，因而具有更好的可操作性和使用灵活性。
STM32入门笔记(02)：USART串口通信注意事项笔记（SPL库函数版)
Naiva的博客
05-19 409
这是通过串口通信发送过来的数据，里面包括了故障码，电压，电流，频率等信息，请你用STM32f103系列单片机的串口1读取该数据并解析出电压和电流是多少？31。
微调 chatglm
02-06
ChatGPT是一个基于语言模型的对话生成模型，它可以用于生成自然语言回复。微调（fine-tuning）是指在预训练的模型基础上，使用特定的数据集进行进一步训练，以使模型适应特定的任务或领域。 要微调ChatGPT，首先需要准备一个对话数据集，其中包含了用户的输入和模型应该生成的回复。然后，可以使用OpenAI提供的基于transformers库的代码来进行微调。微调过程中，可以根据具体需求进行参数设置，如学习率、批次大小等。 在微调过程中，可以选择性地进行数据增强、对抗训练等技术来提升模型的性能和鲁棒性。微调的目标是使ChatGPT能够生成更加准确、连贯和有意义的对话回复。 需要注意的是，微调ChatGPT需要大量的计算资源和时间，并且需要有足够的训练数据来获得良好的效果。此外，还需要进行适当的评估和调优来提高模型的质量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值