第六节 LLaVA模型数据处理源码解读(input_ids/labels/attention_mask/image，上篇)

已于 2024-06-13 10:30:30 修改
阅读量1.1k 收藏
点赞数 1
分类专栏： LLaVA多模态大模型教程 文章标签： 深度学习 人工智能
于 2024-04-02 15:29:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38252409/article/details/136680573
版权

文章目录

前言

本篇文章直接介绍llava模型数据加工部分，整体结构说明llava多模态模型输入数据格式，其中包含input_ids/labels/attention_mask与image格式，并给出对应代码位置与整个数据加工流程。最重要，通过debug给出数据解释与代码解读，也通过一个真实数据给出模型输入格式说明。当你阅读完此篇文章，绝对透彻理解llava数据加工过程与内容。显然，一篇博客是无法呈现整个数据细节，我将继续下篇博客呈现数据细节处理。

一、torch.nn.utils.rnn.pad_sequence与torch.ne函数

在介绍数据之前，我先介绍2个torch.nn.utils.rnn.pad_sequence与torch.ne函数，它们与数据处理相关。

1、torch.nn.utils.rnn.pad_sequence函数功能解读

该函数这里做了pad填充功能，我将具体介绍此函数。

1、函数原理

torch.nn.utils.rnn.pad_sequence(sequences
了解本专栏 订阅专栏 解锁全文 超级会员免费看
tangjunjun-owen
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
第十一节 LLAVA模型lora训练(包含lora权重预加载与源码解读)
weixin_38252409的博客
05-09 450
前面文章，基本已经给出LLaVA的推理相关内容，也给出相应训练等命令内容，以及相关权重等查看与比较内容。却没有与训练相关源码解读。为此，本篇文章介绍LLaVA模型是如何构建model，也是如何加载相应权重内容。我将会结合源码，详细梳理。我相信，看了此篇文章将不在为模型训练而困惑，也能帮助读者进一步理解源码，以此作为基准，方便后续对模型更改或使用其它架构大模型。当然，后面会涉及到很多与huggingface的trainer相关内容，我也会在后面篇章中给与介绍。
第七节 LLaVA模型CLI推理源码解读(多轮对话推理方式与原理(prompt与assistant))
weixin_38252409的博客
04-09 742
为什么介绍cli.py方式进行推理呢？答案很简单，我想通过这个代码告知读者，模型是如何进行推理的，明确输入内容处理方式和模型输出内容，以及多轮对话输入与模型输出内容，而借助推理等方式是需要使用服务啥的客户端或服务端等，是比较麻烦的工程问题。因此，本文将介绍cli推理方式，露骨告知其推理原理与整个数据流程。同时，我也将使用列子与结果，实现三轮对话，说明模型如何工作或完成对话能力。然而，这部分内容和我之前数据章节有些关联，请大家自行查阅。
多模态大模型+llava教程token+input-ids-labels+模型输入格式
06-14
本篇文章直接介绍llava模型数据加工部分，整体结构说明llava多模态模型输入数据格式，其中包含input_ids/labels/attention_mask与image格式，并给出对应代码位置与整个数据加工流程。最重要，通过debug给出数据解释与代码解读，也通过一个真实数据给出模型输入格式说明。当你阅读完此篇文章，绝对透彻理解llava数据加工过程与内容。上一篇文章给出了数据处理大轮廓，本篇文章将解读LazySupervisedDataset类的__getitem__函数内容。 而该文件用于理解input_ids与labels如何生成。
Python_NeurIPS23口头视觉教学调谐LLaVA构建的GPT4V水平的能力和超越.zip
05-23
Python_NeurIPS23口头视觉教学调谐LLaVA构建的GPT4V水平的能力和超越
VLM训练——Trainer源码解读
ZhengrongYue的博客
06-12 562
VLM训练——Trainer解读
【HuggingFace Transformer库学习笔记】基础组件学习：Model
STAR GAME
01-10 696
Model学习
LLM时代，LLaVA代码解读1——encoder部分
Afree_learnC的博客
01-17 2150
llava源码学习和解读
LLaVA项目使用说明（一）运行Demo
qq_58400270的博客
12-18 4435
根据LLaVA项目配置运行环境及运行Demo时遇到的一些问题。
【AIGC核心技术剖析】大型语言和视觉助手——LLaVA（论文+源码）
源代码杀手的博客
10-19 667
我们的早期实验表明，LLaVA 表现出令人印象深刻的多模型聊天能力，有时会在看不见的图像/指令上表现出多模态 GPT-4 的行为，并且在合成多模态指令遵循数据集上与 GPT-85 相比产生了 1.4% 的相对分数。我们公开提供 GPT-4 生成的可视化指令调整数据、我们的模型和代码库。LLaVA代表了一种新颖的端到端训练大型多模态模型，结合了视觉编码器和骆马 对于通用的视觉和语言理解， 实现令人印象深刻的聊天功能，模仿多模式 GPT-4 的精神，并在科学 QA 上设置新的最先进的准确性。
第一节 LLaVA模型安装、预测、训练详细教程
热门推荐
weixin_38252409的博客
11-02 1万+
本博客介绍LLava1.5多模态大模型的安装教程、训练教程、预测教程，也会涉及到hugging face使用与wandb使用。
详解多模态大模型：LLaVA+LLaVA1.5+LLaVA-Med
zenRRan的博客
02-04 3390
作者：凯恩博，香港城市大学计算机科学博士编辑：青稞AILLaVA repo：https://github.com/haotian-liu/LLaVA/ LLaVA 1.0：Visual Instruction Tuning LLaVA 1.5：Improved Baselines with Visual Instruction Tuning一句话优点：1、极大简化了VLM的训练方式：Pre-tra...
多模态大语言模型 LlaVA 论文解读：Visual Instruction Tuning
qq_40491305的博客
06-26 5575
Alpaca [43]、Vicuna [45]、GPT-4-LLM [34]利用各种机器生成的高质量指令跟随样本来提高 LLM 的对齐能力，与专有 LLM 相比，报告了令人印象深刻的性能。重要的是，这行工作是纯文本的。Alpaca [43]、Vicuna [45]、GPT-4-LLM [34]利用各种机器生成的高质量指令跟随样本来提高 LLM 的对齐能力，与专有 LLM 相比，报告了令人印象深刻的性能。同时在使用ChatGPT和GPT-4时，作者发现GPT-4生成的指令遵循数据质量更高，比如空间推理能力。
【LLaVA系列】CLIP/LLaVA/LLaVA1.5/VILA 模型全面梳理！
2401_84033492的博客
06-02 2217
本文简单梳理了LLaVA和CLIP的模型结构，并讲解了CLIP在LLaVA中的应用。持续更新中…
第六节 LLava模型数据处理源码解读(input_ids/labels/attention_mask/image，下篇)
weixin_38252409的博客
06-21 159
本篇文章直接介绍llava模型数据加工部分，整体结构说明llava多模态模型输入数据格式，其中包含input_ids/labels/attention_mask与image格式，并给出对应代码位置与整个数据加工流程。最重要，通过debug给出数据解释与代码解读，也通过一个真实数据给出模型输入格式说明。当你阅读完此篇文章，绝对透彻理解llava数据加工过程与内容。上一篇文章给出了数据处理大轮廓，本篇文章将解读LazySupervisedDataset类的__getitem__函数内容。
LLaVA: Large Language and Vision Assistant 图片解析 图生文
dotNET跨平台
03-24 50
效果 项目 测试代码 usingLLavaSharp; usingSystem; usingSystem.Diagnostics; usingSystem.Drawing; usingSystem.Text; usingSystem.Windows.Forms; namespaceWinformTest { publicpartialclassForm1:Form...
微调模型lora
最新发布
Rcrfrvtb的博客
06-23 143
用于配置 LoRA 微调的参数，包括秩、alpha 参数、dropout 率、目标模块、权重路径、偏置类型和是否使用 QLoRA。数据预处理函数，将输入文本转换为模型可以处理的格式，包括 tokenization 和 padding。用于配置训练参数，包括缓存目录、优化器、最大序列长度、是否使用 LoRA 和系统提示词。训练函数，加载模型和分词器，配置 LoRA 模型，创建 Trainer 并开始训练。模型合并函数，将微调后的 LoRA 模型与基础模型合并并卸载。监督数据集类，用于微调数据集的预处理。
保姆级llava-v1.5-7b部署教程
kikiLQQ的博客
01-15 8434
最近的研究工作需要基于LLAVA的部署，由于hugging face联网等等的原因，遇到了一些问题。因此写这篇博客记录分享完整的部署步骤。本文将面向服务器无法连接hugging face的用户，保姆级地描述完整的部署流程。
VLM 系列——Llava——论文解读
TigerZ*的博客
01-28 742
Llava 全称《Visual Instruction Tuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。 本文基于CLIP的视觉编码器，以及LLaMa语言解码器，构建了一个大规模的多模态模型（使用最简单的单层FC映射视觉特征到文本长度），并且将该模型在指令视觉-语言数据上进行了微调。
多模态大模型笔记：LLaVA-UHD
泊柴的博客
04-20 1817
多模态模型目前存在一个挑战——如何处理高分辨的图像。目前已经开源的模型包括 Qwen-VL、Yi-VL、Llava-1.6，处理图像的方式都显得不够好。常见的方式有两种：一是不论图像原始分辨率多大，直接图像缩放到同一的分辨率 448x448；二是将图像进行切片，然后把多个patch拼接到一起，组合成图像 Embedding。第一种方式会丢失很多图像细节，比如对于包含密集文本的图像，就不能很好的处理图片中的文字。第二种方式虽然保留的图像的高分辨率特征，但是图像的token会很长，训练起来比较费劲。
ModuleNotFoundError: No module named 'llava'
01-30
根据提供的引用内容，当出现"ModuleNotFoundError: No module named 'pip'"或"ModuleNotFoundError: No module named 'llava'"的错误时，可能是因为缺少相应的模块或库。解决这个问题的方法是安装或更新相应的模块。 对于"ModuleNotFoundError: No module named 'pip'"错误，可以按照以下步骤安装pip： 1. 打开终端或命令提示符。 2. 输入以下命令来安装pip： ```shell python -m ensurepip --upgrade ``` 3. 如果上述命令无法安装pip，可以尝试使用以下命令： ```shell python -m ensurepip --default-pip ``` 4. 安装完成后，可以通过以下命令来验证pip是否安装成功： ```shell pip --version ``` 对于"ModuleNotFoundError: No module named 'llava'"错误，可以按照以下步骤解决： 1. 确保正确拼写了要导入的模块名。 2. 确保已经安装了相应的模块。可以使用以下命令来安装模块： ```shell pip install llava ``` 3. 如果模块仍然无法找到，可能需要检查模块是否存在于Python的搜索路径中。可以使用以下代码来查看Python的搜索路径： ```python import sys print(sys.path) ``` 4. 如果模块存在于其他目录中，可以将该目录添加到Python的搜索路径中。可以使用以下代码将目录添加到搜索路径中： ```python import sys sys.path.append('/path/to/module') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tangjunjun-owen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值