书生·浦语大模型实战营-第四课笔记

已于 2024-02-17 20:25:17 修改
阅读量239 收藏
点赞数 1
分类专栏： InternLM-Chat-7B 文章标签： 笔记
于 2024-02-17 19:42:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liaoyichen/article/details/136141342
版权

期待已久的微调课

一、Finetune      

增量预训练和指令跟随是两种微调模式，即两种微调策略。  

1）增量预训练

投喂新的领域知识即可，例如书籍、文章、代码

2）指令跟随

采用高质量对话和问答数据进行训练

二、LoRA与QLoRA

两者是微调的方法，即算法。

三、XTuner

xtuner是一种微调框架。

四、实操

空山大师
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1684
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型实战营-第一课笔记
02-14 512
首先了解了大模型的发展历程，从GPT1到GPT4的发展历程，大模型经历自OPENAI发布GPT3.5后进入了快速发展阶段，成为了技术界高度关注的热门技术。课程解决了我的一个疑问，怎么使用大模型，给了我一个非常明确的实践路线。从数据、预训练、微调、部署、评测和应用，书生浦语提供了丰富的工具支撑，解决了开展这些工作的基础工具。后续工作中，我重点关注数据准备和微调，重点学习这两部分，期待在工作中真正实现大模型的落地应用。大模型的出现改变了以往通用人工智能的困局，使得通用人工智能在通用领域的应用变得有可能。
书生·浦语大模型实战营-第六课笔记
02-20 180
占位。
书生 浦语大模型实战营 - 笔记&作业4 大模型单卡微调
kuangkaiming的博客
01-11 465
计算全文的loss让基座模型学到一些领域内新的知识。
书生·浦语大模型实战营第四节课笔记及作业
zpc1219的博客
01-13 1096
大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。但是如果直接把大模型的知识用于生产实践，会发现回答不大满意。微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。
书生浦语大模型实战营第四次课笔记
qq_40831032的博客
01-14 1236
以数据集为例基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。
书生·浦语大模型实战营笔记-第二节 轻松玩转书生·浦语大模型趣味 Demo
qq_46212981的博客
01-06 1189
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考实现了三个demo，分别是对话模型，latant模型，以及多模态创作模型，并学习了huggingface的使用方法。
书生·浦语大模型实战营-学习笔记2
qq_37397652的博客
01-11 603
目录轻松玩转书生·浦语大模型趣味Demo1. 大模型及 InternLM 模型介绍2. InternLM-Chat-7B 智能対话 Demo3. Lagent 智能体工具调用 Demo4. 浦语•灵笔图文创作理解 Demo5. 通用环境配置6. 课后作业 视频地址： (2)轻松玩转书生·浦语大模型趣味Demo 文档教程： https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md 轻松玩转书生·浦语大模型趣味Demo
书生浦语大模型实战营第六次课笔记-OpenCompass大模型评测
qq_40831032的博客
01-21 545
2. 为什么需要评测 3. 需要评测什么 4. 如何评测大模型 5. 主流大模型评测框架 6. 大模型评测领域的挑战
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1402
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
书生·浦语 第二讲课程笔记
2301_76914390的博客
04-25 650
⑶杰出的综合能力：浦语·灵笔2-78基于（书生·浦语2-78模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V和 Gemini Pro.⑵准确的图文问题解答能力：浦语·灵笔2具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述_觉推理等能力上表和惊人细节描述、视觉推理等能力上表现惊人。③0penxLab可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件，使用 download 函数导入核型中心的模型。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 931
书生浦语LLM大模型教程
【课堂笔记】2_轻松玩转书生·浦语大模型趣味Demo
sxswz的博客
01-10 1029
什么是大模型?人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务中展现出惊人的性能lnternLM模型全链条开源InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架，上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B和InternLM-20B。
计算机视觉、目标检测、视频分析的过去和未来：目标检测从入门到精通 ------ YOLOv8 到 多模态大模型处理视觉基础任务
shiter编写程序的艺术
07-03 325
自注意力机制和注意力机制的区别就在于，注意力机制的查询和键是不同来源的，例如，在Encoder-Decoder模型中，键是Encoder中的元素，而查询是Decoder中的元素。在中译英模型中，查询是中文单词特征，而键则是英文单词特征。而自注意力机制的查询和键则都是来自于同一组的元素，例如，在Encoder-Decoder模型中，查询和键都是Encoder中的元素，即查询和键都是中文特征，相互之间做注意力汇聚。从剩余的预测框中选择一个与基准框的重叠面积最大的框，如果其重叠面积大于一定的阈值，则将其删除。
STM32学习笔记（二、初识stm32单片机）
tommorrowwill的博客
09-10 618
首先stm32是意法半导体公司（ST）使用ARM公司的Cortex-M为核心生产的32位的单片机。其中，ST---意法半导体公司，即SOC厂商。M---为Microelectronics的缩写，即微型处理器。32---表示控制器为32位的。103---表示F系列的子系列。
C++学习笔记----6、内存管理（五）---- 智能指针（3）
weixin_71738303的博客
09-11 813
与指向特定类型的原始指针可以转化为不同类型的指针一样，shared_ptr保存特定的类型可以转化为一个另一种类型的shared_ptr。转化shared_ptr的函数是const_pointer_cast()，dynamic_pointer_cast(),static_pointer_cast()和reinterpret_pointer_cast()。前面简要提过，当拥有共享属主的智能指针，例如shared_ptr不在活动范围或者被重置时，只有它是最后指向的智能指针时才能释放其指向的资源。
【机器人工具箱Robotics Toolbox开发笔记（十）】机器人微分运动学
m0_72676510的博客
09-07 357
机器人工具箱中，可用函数SerialLink.jacob0（）求出对应某个位姿下绝对坐标系中的雅可比矩阵，用SerialLink.jacobn（）求出对应某个位姿下工具坐标系中的雅可比矩阵。
【C++学习笔记】数组与指针（三）
qq_38196449的博客
09-09 1142
0（空字符）
【学习笔记】手写Tomcat 二
最新发布
LearnTech_123的博客
09-11 677
在昨天的基础上，再进一步优化，能够响应HTML文件，图片等静态资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值