书生·浦语大模型实战营-第四课笔记

已于 2024-02-17 20:25:17 修改
阅读量247 收藏
点赞数 1
分类专栏： InternLM-Chat-7B 文章标签： 笔记
于 2024-02-17 19:42:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liaoyichen/article/details/136141342
版权

期待已久的微调课

一、Finetune      

增量预训练和指令跟随是两种微调模式，即两种微调策略。  

1）增量预训练

投喂新的领域知识即可，例如书籍、文章、代码

2）指令跟随

采用高质量对话和问答数据进行训练

二、LoRA与QLoRA

两者是微调的方法，即算法。

三、XTuner

xtuner是一种微调框架。

四、实操

空山大师
关注
专栏目录
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1710
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型实战营-第一课笔记
02-14 521
首先了解了大模型的发展历程，从GPT1到GPT4的发展历程，大模型经历自OPENAI发布GPT3.5后进入了快速发展阶段，成为了技术界高度关注的热门技术。课程解决了我的一个疑问，怎么使用大模型，给了我一个非常明确的实践路线。从数据、预训练、微调、部署、评测和应用，书生浦语提供了丰富的工具支撑，解决了开展这些工作的基础工具。后续工作中，我重点关注数据准备和微调，重点学习这两部分，期待在工作中真正实现大模型的落地应用。大模型的出现改变了以往通用人工智能的困局，使得通用人工智能在通用领域的应用变得有可能。
书生·浦语大模型实战营-第六课笔记
02-20 183
占位。
书生 浦语大模型实战营 - 笔记&作业4 大模型单卡微调
kuangkaiming的博客
01-11 474
计算全文的loss让基座模型学到一些领域内新的知识。
书生·浦语大模型实战营第四节课笔记及作业
zpc1219的博客
01-13 1117
大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。但是如果直接把大模型的知识用于生产实践，会发现回答不大满意。微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。
书生浦语大模型实战营第四次课笔记
qq_40831032的博客
01-14 1250
以数据集为例基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。
书生·浦语大模型实战营笔记-第二节 轻松玩转书生·浦语大模型趣味 Demo
qq_46212981的博客
01-06 1202
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考实现了三个demo，分别是对话模型，latant模型，以及多模态创作模型，并学习了huggingface的使用方法。
书生·浦语大模型实战营-学习笔记2
qq_37397652的博客
01-11 608
目录轻松玩转书生·浦语大模型趣味Demo1. 大模型及 InternLM 模型介绍2. InternLM-Chat-7B 智能対话 Demo3. Lagent 智能体工具调用 Demo4. 浦语•灵笔图文创作理解 Demo5. 通用环境配置6. 课后作业 视频地址： (2)轻松玩转书生·浦语大模型趣味Demo 文档教程： https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md 轻松玩转书生·浦语大模型趣味Demo
书生浦语大模型实战营第六次课笔记-OpenCompass大模型评测
qq_40831032的博客
01-21 556
2. 为什么需要评测 3. 需要评测什么 4. 如何评测大模型 5. 主流大模型评测框架 6. 大模型评测领域的挑战
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1436
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
书生·浦语 第二讲课程笔记
2301_76914390的博客
04-25 662
⑶杰出的综合能力：浦语·灵笔2-78基于（书生·浦语2-78模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V和 Gemini Pro.⑵准确的图文问题解答能力：浦语·灵笔2具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述_觉推理等能力上表和惊人细节描述、视觉推理等能力上表现惊人。③0penxLab可以通过指定模型仓库的地址，以及需要下载的文件的名称，文件所需下载的位置等，直接下载模型权重文件，使用 download 函数导入核型中心的模型。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 954
书生浦语LLM大模型教程
【课堂笔记】2_轻松玩转书生·浦语大模型趣味Demo
sxswz的博客
01-10 1039
什么是大模型?人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务中展现出惊人的性能lnternLM模型全链条开源InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。基于InternLM训练框架，上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B和InternLM-20B。
【算法笔记】二分查找 红蓝染色法
weixin_51325964的博客
09-23 846
一个菜鸟的算法笔记
H.264学习笔记
最新发布
zfenggo的博客
09-26 571
H.264凭借其出色的压缩效率、灵活的编码方式以及高质量的视频表现，成为了现代视频技术的核心标准之一。它不仅减少了存储需求，还提高了流媒体和实时视频传输的可行性。对于从高清到超高清视频，H.264的编码能力仍然广泛适用。H.264的帧结构设计（I帧、P帧和B帧）极大地提高了视频编码的压缩效率。I帧保存完整的图像信息，P帧通过参考之前的帧减少冗余数据，而B帧则通过双向参考提供进一步的压缩优势。这种帧间的协同工作大幅降低了带宽需求和存储成本，同时保持了视频的高质量。NALU头。
python学习笔记
qq_32649321的博客
09-20 636
作用：用于增加数组的维度。在数组中使用 np.newaxis 可以在指定位置增加一个新的轴，这通常用于改变数组的形状而不需要复制数据。作用：用于在多维数组上进行迭代。这个函数返回一个迭代器，它生成一个包含数组索引和对应元素值的元组。可以沿着指定的轴重复数组中的元素多次，生成一个新的数组。
Maya学习笔记：项目设置和快捷键
吴梓穆的博客
09-24 308
快速空格：切换三视图，鼠标放到对应的视图上，在快速按空格，可以切到对应视图。在项目窗口里，选择要生成的子文件夹（保持默认即可），然后点下边的接受。文件/最下边选择最近的项目，在右侧展开菜单里选择刚创建的目录。只后场景会被默认保存在这个文件夹下的scenes里。F：先点击一个物体，在按F，选中的物体居中显示。主键盘5：平滑着色显示模型（默认的方式）选择一个文件夹，然后选择创建默认工作区。alt+滚路或右键拖动：缩放视角。alt+左键拖动：旋转视角。alt+中键拖动：移动视角。A：场景所有物体居中显示。
freemobus阅读笔记
qq_36658033的博客
09-20 258
pvMBFrameStart中的pv是什么的缩写p代表指针，V母鸡，MBFrameStart指的是modbus系统的开始pusLength 中的pusp代表指针，u代表无符号 s代表short短整型pucFrame 中的pucp代表指针，u代表无符号 c代表char字节型PDU即协议数据单元功能码+数据；（排除CRC和ID）MB_EX_NONE其中"EX"很可能代表"Exception是Freemodbus库中的一种错误代码，它表示Modbus网关路径请求失败。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值