书生·浦语大模型实战营Day04微调

已于 2024-04-17 22:16:04 修改
阅读量321 收藏 5
点赞数 9
分类专栏： 书生·浦语大模型 文章标签： 深度学习 人工智能 AIGC
于 2024-04-16 23:20:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scc1371815174/article/details/137844460
版权
本文介绍了大模型微调的不同方法，如增量预训练、指令跟随微调，重点讲解了LoRA和QLoRA技术，以及Xtuner微调的易用性和性能优化。同时探讨了多模态LLM的原理和应用，如LLaVA方案。最后提到了实战营的作业内容，包括个人助手微调和部署等。
摘要由CSDN通过智能技术生成

书生·浦语大模型实战营Day04微调

微调

为什么微调？

  • 缺少领域知识

在这里插入图片描述

两种微调范式

  • 增量预训练：垂直领域的常识。书籍、文章、代码等。
  • 指令跟随微调：高质量的问答数据。对话、问答数据。

在这里插入图片描述

  • 二者区别

在这里插入图片描述

一条数据的一生

  • 原始数据：原始数据
  • 标准格式数据：Json数据

在这里插入图片描述

  • 对话模板：准备Json数据后，自动组装

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

微调方案：LoRA和QLoRA

  • 基座模型不变，微调一个LoRA模型。减少显存
  • LoRA：Low-Rank Adaptation of Large Language Models

在这里插入图片描述

  • Full Finetuning vs LoRA vs QLoRA

在这里插入图片描述

Xtuner 微调

Xtuner微调

  • 傻瓜化：容易上手
  • 轻量级：8GB显存

在这里插入图片描述

  • 多种生态、多种硬件

在这里插入图片描述

环境配置

在这里插入图片描述

模板选择

  • 自定义训练

在这里插入图片描述

  • 对话

在这里插入图片描述

Xtuner数据引擎

  • 统一处理数据格式：数据预处理

在这里插入图片描述

  • 多数据拼接：并行

在这里插入图片描述

  • 加速方式：Flash Attention（自动开启）、DeepSpeed ZeRO

在这里插入图片描述

InternLM2 1.8B

  • 8GB显存
  • InternLM2-Chat-1.8B

在这里插入图片描述

多模态LLM

多模态LLM原理

  • 给LLM装上电子眼：多模态LLM原理简介

在这里插入图片描述

LLaVA方案

  • 什么型号的电子眼：LLaVA方案简介
  • LLaVA：有点类似LoRA（文本+图像）

在这里插入图片描述

InternLM2-Chat-1.8B+LLaVA

  • 快速上手：InternLM2-Chat-1.8B+LLaVA
  • 预训练+高质量的有监督Funetune

在这里插入图片描述

作业

在这里插入图片描述

个人小站：https://www.xiaowangyun.com

孙小北
关注
专栏目录
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生·浦语大模型实战营Day04作业
个人小站：www.xiaowangyun.com
04-18 359
记录复现过程并截图https://openxlab.org.cn/models/detail/sunxiaobei/personal_assistant。
大模型实战营Day1 书生·浦语大模型全链路开源体系
m0_72806612的博客
01-05 589
第一天学习内容的讲授者为陈恺，是上海人工智能实验室的大牛，毕业于我大清。大模型使得传统对于特定任务，一个模型解决一个问题的方式有了重大突破和改变。本篇为笔者参加实战营第一天的学习笔记，后续会持续更新。主打的是一手参数量很小，但是性能在一些测试集上很高。本次课程的核心内容到此告一段落。
书生·浦语大模型实战营Day01全链路开源体系
个人小站：www.xiaowangyun.com
04-01 917
书生·浦语大模型全链路开源体系
书生·浦语大模型实战营合集
个人小站：www.xiaowangyun.com
04-18 1006
书生·浦语大模型实战营
书生·浦语大模型实战营Day04个人助手微调
个人小站：www.xiaowangyun.com
04-17 882
用 `QLoRA` 的方式来微调一个自己的小助手
书生·浦语大模型实战营Day05 LMDeploy 量化部署
个人小站：www.xiaowangyun.com
04-20 368
书生·浦语大模型实战营Day05 LMDeploy 量化部署 LMDeploy 量化部署 LLM-VLM 模型部署 部署：将开发完毕的软件投入使用的过程 服务器：CPU、GPU 大模型部署面临的挑战 计算量巨大、参数规模大 内存开销巨大：K V Cache 访存瓶颈、动态请求 模型部署方法 模型剪枝（Pruning） 非结构化剪枝 结构化剪枝 知识蒸馏（Knoledge Distillation，KD） 教师-学生 量化（Quantization） 量化感知训练（Q
书生·浦语大模型实战营Day04XTuner多模态
个人小站：www.xiaowangyun.com
04-16 1088
书生·浦语大模型实战营Day04XTuner多模态
书生·浦语大模型实战营Day04OpenXLab 部署
个人小站：www.xiaowangyun.com
04-17 1190
书生·浦语大模型实战营Day04OpenXLab 部署
大模型实战营Day2 轻松玩转书生·浦语大模型趣味Demo
li4692625的博客
01-07 530
大模型：参数数量巨大，拥有庞大计算能力和参数规模的模型InternLM ：是一个开源的轻量级训练框架，旨在支持模型预训练，而无需广泛的依赖关系。通过单一代码库，它支持在具有数千个 GPU 的大规模集群上进行预训练，并在单个 GPU 上进行微调，同时实现显著的性能优化。InternLM 在 1024 个 GPU 上训练期间实现了近 90% 的加速效率。基于InternLM和。Lagent。
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
对比学习训练是如何进行的
qq_45809323的博客
09-25 266
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
【深度学习】（3）--损失函数
m0_74896766的博客
09-18 2298
本篇介绍了部分损失函数： 1. L1Loss损失函数：通常用于回归任务中。 2. NLLLoss损失函数：在多分类问题中广泛应用。 3. MSELoss损失函数：在多种回归任务中表现出色。 4. BCELoss损失函数：广泛应用于各类二分类任务中。 5. CrossEntropyLoss交叉熵损失函数：广泛应用于多分类问题中。
GPT2模型源码解析
LIjin_1006的博客
09-26 302
回退到手动实现：由于 scaled_dot_product_attention 不支持 output_attentions=True 或 head_mask，因此程序。_skip_keys_device_placement = "past_key_values" # 指定在放置设备时应跳过的键，这在多GPU设置中很有用。# load_tf_weights = load_tf_weights_in_gpt2 # 提供一个方法用于从 TensorFlow 模型加载权重。
AI学习指南深度学习篇-Adadelta算法流程
俞兆鹏的博客
09-23 598
在深度学习领域，优化算法一直是一个重要的研究方向。在训练深度神经网络时，选择合适的优化算法可以大大提高训练速度和模型性能。Adadelta算法是一种自适应学习率的优化算法，它不需要手动设置学习率，能够在训练过程中自动调整学习率，适应不同参数的变化。
用于MRI重建的具有全局感受野的傅里叶卷积块|文献速递--基于多模态-半监督深度学习的病理学诊断与病灶分割
最新发布
weixin_38594676的博客
09-26 566
在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。这意味着，虽然傅里叶域中的卷积核 W 大小与输入相同，但它的空间对应物可以是一个大小为 K × K 的零填充卷积核，大小范围从 1 × 1 到输入大小 N × N 不等。顶部显示了8×加速的结果，底部显示了12×加速的结果。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值