实战营第四节笔记

最新推荐文章于 2024-10-18 17:48:19 发布
最新推荐文章于 2024-10-18 17:48:19 发布
阅读量494 收藏 8
点赞数 10
分类专栏： # 实战营笔记 文章标签： 笔记 书生浦语 大语言模型 实战营
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stone_tigerli/article/details/136230335
版权

这节课包含四大部分，为finetune简介、xtuner介绍、使用8GB玩转LLM和动手实践环节。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
LoRA和QLoRA是两种很重要的方法，对微调模型、减少内存使用非常有效。
在这里插入图片描述

在这里插入图片描述

后面是XTuner的介绍。
在这里插入图片描述
在这里插入图片描述
之后是动手实践。可参考https://github.com/InternLM/tutorial/blob/main/xtuner/README.md

石头变钻石？
关注
专栏目录
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1757
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
storm 实战笔记
04-09
《Storm实战笔记》是一份详尽的资料集，旨在引导读者从零基础开始掌握Apache Storm这一实时计算框架。这份笔记涵盖了多个关键领域的应用，包括入门基础、架构集成、日志处理以及复杂业务场景的风控与推荐系统。接...
InternLM实战营第二节作业和笔记
China_zza的博客
05-31 1185
等工具下载模型的示例代码，以及软链接和终端清除的方法，供参考使用。文档中提供了详细的步骤和配置命令，可参照文档执行。界面，点击“创建开发机”配置开发机系统。环境配置完成后，进入到新创建的。通过左侧文件夹栏目，双击进入。点击“进入开发机”选项。文档最后部分提供了使用。
书生-浦语 大模型实战营 第二节笔记
weixin_42890306的博客
01-09 356
InnterLM是一个开源的轻量级训练框架，支持在GPU集群上预训练，并在单个GPU上微调Lagent是一个基于大语言模型的Agent框架。
【InternLM 实战营第二期】第四节 笔记
2301_77831574的博客
04-19 595
两种Finetune范式LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数例子一条数据的一生对话模板：对话模板是为了能够让LLM区分出，SystemUser和Assistant，不同的模型会有不同的模板。
【InternLM 实战营第二期】第四节笔记
2301_77831574的博客
04-19 261
参考：视频教学：https://b23.tv/QUhT6ni文档链接：https://github.com/InternLM/Tutorial/blob/camp2/xtuner/personal_assistant_document.md笔记：https://blog.csdn.net/2301_77831574/article/details/137974049。
【InternLM 实战营第二期笔记】第一节
2301_77831574的博客
03-30 444
专用模型：针对特定任务，一个模型解决一个问题。通用模型：一个模型应对多种任务、多种模态。
2024.1 书生·浦语大模型实战营 第 4 节 课堂笔记
godlikesun97的博客
01-13 489
大模型的微调有两种1. 增量预训练：给模型提供一些新知识，让模型在指定领域表现更好。训练语料都是陈述句（system和input为空，只在output有内容）2. 指令微调：让模型学会根据人类指令进行对话。指令微调时，通过模板将训练预料中的System，User和Assistant拼接起来，并且只对答案部分计算损失。（推理时不分角色，直接和模型聊天即可）LoRA & QLoRA：原基座模型权重不变，在旁路新增一个权重分支，来实现对模型的微调。
书生·浦语大模型实战营第五节课笔记及作业
zpc1219的博客
01-18 684
按照文档LMDeploy 的量化和部署中的步骤在中的 A100(1/4) 机器上一步步操作即可！
【书生·浦语大模型实战营第二期 第4节笔记】
JOCC_JOCC的博客
04-19 453
首先，我们要先了解微调的重要性，现在的大源模型基本都是foundation模型，在普遍任务专域还是可以胜任的，但在实际的特定领域就会出现认知偏差，就例如Tesla，会被识别为人名等。课程还介绍了XTuner框架的使用方法和数据的重要性。实践部分手把手教大家如何使用XTuner微调自己的大模型，并介绍了1.8B和多模态的内容。由 XTuner 贡献者李剑锋、汪周谦、王群带来【XTuner 微调 LLM：1.8B、多模态和 Agent】课程内容的讲解~1、微调理论讲解及 XTuner 介绍。
openmmlabAI实战营第二讲笔记
weixin_51231310的博客
02-03 191
openmmlabAI实战营第二讲笔记 图像分类与基础视觉模型
Go 学习笔记 第四版
11-28
《Go学习笔记第四版》是一本深度探讨Go语言的书籍，专为想要深入理解Go语言特性和实战应用的读者设计。Go语言，又称Golang，是Google在2009年发布的一种静态类型、编译型、并发型且具有垃圾回收功能的编程语言。其...
Go Wails 学习笔记：创建第一个项目
程序媛平平无奇的一天
10-14 1085
Wails 通过结合前端技术和 Go 后端，提供了一个高效的方式来开发跨平台的桌面应用。其简单的项目初始化和清晰的结构使得开发者能够快速上手。通过 Wails，可以充分利用 Web 开发技能，同时获得原生桌面应用的优势。
《vue leaflet学习实践笔记》
yk_ddm的博客
10-16 172
目录vue leaflet学习实践笔记 vue leaflet学习实践笔记
回溯算法笔记
最新发布
985小菜鸡
10-18 616
回溯算法适用于那些具有多个步骤、每一步都有多个选择并且有约束条件的问题。它的核心思想是逐步构建解，当发现某个选择无法生成有效解时，回退并尝试其他可能的选择。虽然回溯法可以遍历所有可能的解，但其效率往往较低，因此在实际应用中，通常会结合剪枝技术，以减少不必要的搜索。回溯的主要优点是简单、通用，适用于很多组合优化问题。然而，由于它的暴力搜索特性，如果没有结合优化策略或剪枝，可能会导致指数级的时间复杂度。
stm32单片机个人学习笔记9（TIM输入捕获）
2302_80867398的博客
10-13 284
从模式选择Reset模式可以实现自动清零计数器CNT。
【Petri网导论学习笔记】Petri网导论入门学习（五）—— 1.3 库所/变迁系统与加权Petri网
TanYC的博客
10-18 437
六元组ΣST;FKWM称为一个库所/变迁系统(place/transition system)，其中1 )ST;F( S, T;F)ST;F是一个网，WF→123⋯WF→123⋯称为权函数(weighted function)KS→123⋯KS→123⋯称为容量函数(capacity function)MS→012⋯MS→012⋯是Σ。
苍穹外卖学习笔记(二十一)
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
10-13 375
取消订单与再来一单
PS滤镜与智能对象实战指南：第八天笔记
本篇PS基础第八天笔记主要介绍了Adobe Photoshop中的滤镜操作以及一些基础图层管理技巧。滤镜是Photoshop中用于创建各种特殊视觉效果的重要工具，包括智能滤镜，它们与智能对象紧密相关。智能对象是一种特殊图层类型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值