书生·浦语大模型实战营课程笔记（4）

最新推荐文章于 2024-07-05 15:51:51 发布
最新推荐文章于 2024-07-05 15:51:51 发布
阅读量117 收藏
点赞数 3
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/r_eve_har/article/details/138030401
版权
本文介绍了模型微调的两种主要方式：增量微调和指令微调，重点讲解了LoRA方案在减少显存消耗的应用，并提到了Xtuner工具箱的详细内容，可参考相关视频链接。
摘要由CSDN通过智能技术生成

一. Finetune（微调）

1. 简介

模型微调主要有两种方式：一种为增量微调，另一种为指令微调。

2. 一条数据的一生

3. 微调方案

LoRA方案能够大幅降低训练的显存消耗，基本原理如下图所示。

方案对比

二. Xtuner

Xtuner特点

工具箱详细内容介绍参见视频https://www.bilibili.com/video/BV15m421j78d/

r_eos_cav
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1593
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生浦语大模型实战营-课程笔记（4）
dooooos的修炼之地
02-17 454
2.训练时数据为一问一答的形式（input和output）微调分为两种，增量预训练和指令跟随。只需要output的数据进行训练。操作部分的笔记参考git上的文档。1.只对答案计算Loss。xtuner:微调框架。
书生·浦语大模型实战营课程笔记（7）
r_eve_har的博客
04-28 172
1. 全面性要求2. 评测成本高，例如人工主观评测成本极高3. 数据污染4. 鲁棒性，例如大模型对提示词非常敏感。
书生·浦语大模型实战营课程笔记（6）
r_eve_har的博客
04-25 140
例如AutoGPT、ReWoo、ReAct等智能体范式。
书生·浦语大模型实战营课程笔记（2）
r_eve_har的博客
04-04 227
3. ssh远程控制。2. 模型文件下载。
书生·浦语大模型实战营课程笔记（5）
r_eve_har的博客
04-17 209
在人工智能领域，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
书生浦语大模型实战营笔记作业汇总
qq_40831032的博客
01-29 444
第一课：第二课：第三课：第四课：第五课：第六课：
书生浦语大模型实战营-课程笔记（3）
dooooos的修炼之地
02-15 513
区别在于生成了这个prompt，猜测是用数据库里最接近的向量来辅助模型找出答案。涉及了文本相似度匹配，是不是和传统的问答系统（直接匹配数据库）有点类似？本节课主要是跟着教程做的，操作的东西放到作业里记录了。RAG=外挂知识库？优点是成本低，不用重新训练。langchain的介绍，用来构建LLM应用。这里主要记录一些视频里讲的非操作性的东西。RAG的一个整体流程。
书生浦语大模型实战营-课程笔记（6）
dooooos的修炼之地
02-20 355
opencompass的整体流程。这个飞书状态上报功能后续可以试试。模型评测的意义与方式。有点类似论文里大家用来比较性能的公开数据集。评测用于减少社会风险这个角度确实没想到过，学到了。
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
2024-07-05 base SAS programming学习笔记9(variables)
最新发布
ddjdd1234的博客
07-05 316
由于SAS 每次都会执行IF THEN 语句，因此在对同一个变量进行操作时使用IF THEN ELSE IF THEN 语句来提高效率，避免重复使用IF-THEN 语句，在碰到TRUE的情况则会跳出该IF 语句。如果不存在select expression ，则会对每个when 语句判断TRUE或FALSE,SAS只会执行首次判断为TRUE的语句，一旦存在TRUE语句则跳出不对其他WHEN语句进行判断。在每次DO循环前检查是否满足WHILE的条件，只有满足WHILE的条件才继续循环，如果不满足则终止循环。
昇思MindSpore学习笔记2-01 LLM原理和实践 --基于 MindSpore 实现 BERT 对话情绪识别
muren的专栏
07-02 1010
通过识别BERT对话情绪状态的实例，展现在昇思MindSpore AI框架中大语言模型的原理和实际使用方法、步骤。
GAMES104：04游戏引擎中的渲染系统1：游戏渲染基础-学习笔记
噗噗噗的博客
07-02 973
游戏引擎的设计与硬件架构密不可分，要做好一个图形程序，就得了解显卡架构游戏引擎的一个核心问题是Mesh、Materials等数据之间的关系，submesh就是一个很好的解决方法大师：do nothing—用Culling算法使得引擎绘制尽可能少的东西，CPU、GPU做的事越少越好GPU代替CPU计算–GPU Driven。
【PB案例学习笔记】-27制作一个控制任务栏显示与隐藏的小程序
再小的帆也能远航，把分享变成一种习惯
07-03 344
这是PB案例学习笔记系列文章的第27篇，该系列文章适合具有一定PB基础的读者。通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值