书生·浦语大模型第二期实战营（4）笔记

最新推荐文章于 2024-11-14 14:48:00 发布
最新推荐文章于 2024-11-14 14:48:00 发布
阅读量254 收藏
点赞数 1
分类专栏： 浦语大模型 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33228039/article/details/137922313
版权
本文探讨了Finetune在适应下游任务中的重要性，介绍了增量训练和指令微调两种微调范式，以及如何通过如XTuner这样的工具进行实践，特别提到了LnternLM21.8B和多模态语言模型的应用.
摘要由CSDN通过智能技术生成

Finetune

为什么要微调

适应下游任务
在这里插入图片描述

两种微调范式

在这里插入图片描述在这里插入图片描述上面的是增量训练
下面的是指令微调

数据格式

在这里插入图片描述
在这里插入图片描述

微调方案

在这里插入图片描述
lora： 在基座模型的基础上再套用一个小模型

在这里插入图片描述

XTuner

简介

在这里插入图片描述
在这里插入图片描述

快速上手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LnternLM2 1.8B

在这里插入图片描述

多模态LLM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

东东就是我
关注
专栏目录
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1815
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【 书生·浦语大模型实战营】学习笔记（二）：轻松玩转书生·浦语大模型趣味Demo
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-05 1260
本文为实战营第二次课程笔记，主要分为两个部分，第一部分部署 InternLM2-Chat-1.8B 模型进行智能对话。第二部分为完成 Lagent 工具调用 数据分析 Demo 部署，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型第三期实战营第一课笔记+作业
m0_53217058的博客
07-14 384
test.sh。
书生·浦语大模型第二期实战营第一课笔记
m0_53217058的博客
04-19 973
例如，在开发对话系统时，我们期望它提供有用的信息（有益）的同时不产生有害或不适当的内容（无害）。Wu et al., 2023) 通常依赖于多个偏好模型进行评分，这也使得训练管道中引入了更多的模型，从而增加了计算成本并减慢了训练速度。需要注意的是，选定用于长上下文训练的所有数据都是标准预训练语料库的一个子集，这意味着长上下文数据至少在预训练期间会被学习两次。有意思的是，对于有害信息的处理，团队采用了kaggle里面的一个比赛的数据集，微调了BERT模型得到了一个分类器。对齐方面内容过多，之后再进行补充。
书生·浦语大模型第三期实战营第三课笔记+作业
m0_53217058的博客
07-14 615
欢迎来到ShortStoryMasterA项目仓库！本项目旨在使用QLoRA或全量微调的方式，基于大语言模型“谱语”和整个技术栈制作一个短篇小说创作大师。我们的目标是通过优化和微调模型，生成多种类型的高质量短篇小说，满足不同读者的需求。
书生·浦语大模型第二期实战营（3）笔记
qq_33228039的博客
04-18 284
1.RAG、微调、提示工程1.创建环境2.激活环境3.下载基础文件# 创建模型文件夹# 复制BCE模型# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）4.下载安装茴香豆# 安装 python 依赖## 因为 Intern Studio 不支持对系统文件的永久修改，在 Intern Studio 安装部署的同学不建议安装 Word 依赖，后续的操作和作业不会涉及 Word 解析。
书生·浦语大模型第二期实战营（5）笔记
qq_33228039的博客
04-19 389
主要提供模型本身的推理，一般来说可以和具体业务解耦，专注模型推理本身性能的优化。可以以模块、API等多种方式提供。可以理解为前端，与用户交互的地方。通过通过网页端/命令行去调用API接口，获取模型推理/服务。API Server。中间协议层，把后端推理/服务通过HTTP，gRPC或其他形式的接口，供前端调用。
书生·浦语大模型第二期实战营（6）笔记
qq_33228039的博客
04-22 338
2 启动并使用 Lagent Web Demo。1.使用 LMDeploy 部署。4.用 Lagent 自定义工具。
书生·浦语大模型第二期实战营（7）笔记
qq_33228039的博客
04-23 269
【代码】书生·浦语大模型第二期实战营（7）笔记。
书生·浦语大模型第二期实战营第五课笔记+作业
m0_53217058的博客
04-24 720
由于数据过于单一，300轮已经有点傻了600轮已经成复读机了整合模型已成复读机web版复读机模型。
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
Window.history API学习笔记
常备不懈
11-12 589
在现代前端开发中，单页应用（SPA）的流行让我们对于页面的浏览历史管理需求愈加明显。`window.history` API作为浏览器提供的原生API，能够帮助开发者更加细致地控制用户的导航体验。本文将介绍`window.history` API的几个常见方法，并探讨它们的使用场景。
JavaScript面向对象笔记(4)
maoshunsheng的博客
11-10 1041
<script>//小括号表示优先级var reg = /^(abc){3}$/ // 表示abc重复3次</script>
《线性代数》学习笔记
tan_liang_liang的博客
11-11 296
直观上就是，如果第三个向量的直线掉在前面两条向量张成的平面，那么就线性相关，否则是线性无关的。就是用前面确定线性无关的两个列向量a和b，组成议程ax+by=c是否有解，如果有解。如何判断有解，用消元法。求解这样的方程，先把它转换成行阶梯式，而且每一个主元上面对应的系数是0。什么是基础解系，就是其它解可以表示成两个向量的线性组合，这两个向量就是基础解系。上个星期继续学线性代数，一个矩阵，如何判断它是的列向量有几个是线性无关呢？第二种方法是判断这个矩阵的行列式，如果行列式计算不是0,那么它的列向量就是无关的。
Spring学习笔记_32——事务TransactionStatus接口
LuckyLay的博客
11-12 287
TransactionStatus是Spring框架中用于表示事务状态的一个关键接口。它提供了一系列方法来查询和控制事务的执行状态，对于编程式事务管理尤为重要。TransactionStatus接口主要用来存储事务执行的状态，并且接口中定义了一组方法，用来判断或者读取事务的状态信息，
Vim 编辑器学习笔记
最新发布
vortex5的博客
11-14 777
vi编辑器是由比尔·乔伊（Bill Joy）在 1976 年为 UNIX 操作系统开发的一款文本编辑器，最早应用于 UNIX 系统的 BSD 版本中。它凭借轻量、快速、功能丰富的特点，迅速成为 UNIX 和类 UNIX 系统（如 Linux）用户最喜爱的编辑工具之一。然而，随着编辑需求的提升，vi的功能逐渐显得不足。1988 年，布莱姆·穆伦纳尔（Bram Moolenaar）在vi的基础上创建了vim编辑器，全称 “Vi IMproved”，即“改进版vivim不仅保留了vi。
QT开发笔记之小知识
ZaiLuShang2121的博客
11-12 318
QT学习笔记 小知识点
FPGA学习笔记#7 Vitis HLS 数组优化和函数优化
qq_38876396的博客
11-11 877
本文介绍了Vitis HLS中如何进行数组优化和函数优化。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值