VLM 系列——Instruct BLIP——论文解读

最新推荐文章于 2024-06-17 17:45:41 发布
最新推荐文章于 2024-06-17 17:45:41 发布
阅读量317 收藏
点赞数
分类专栏： AIGC算法 文章标签： AIGC 计算机视觉 深度学习 图像处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/135756707
版权
AIGC算法 专栏收录该内容
29 篇文章 7 订阅 ¥89.90 ¥99.00
订阅专栏

一、概述

1、是什么

    Instruct BLIP 全称《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》，是一个多模态视觉-文本大语言模型，隶属BLIP系列第三篇，可以完成：图像描述、视觉问答、名画名人等识别（问答、描述）。支持单幅图片输入（作为第一个输入），多轮文本对话。（不支持图文交错输入、写代码、视觉定位、JSON mode等。）

    整体架构沿用BLIP2，在Q-former中多加入了文本prompt token来和图片进行交互。构造一个指令数据集，只训练q-former。

2、亮点

    *对视觉语言指令调优进行了全面而系统的研究。将26个数据集转换为指令调优格式（13个用于指令调优，13个用于zero-shot评估），并将其分为11个任务类别（保留了四个完整的任务类别，以便在任务水平上进行zero-shot评估）。

    *提出了指令感知的视觉特征提取，这是一种新的机制，可以根据给定的指令灵活地提取信息丰富的特征。

    *使用两个LLM家族评估并开源了一套InstructBLIP模型：FlanT5、Vicuna。

PS

    这里要注意其实BLIP2的Q-former 也是有文本输入的，也可以作为prompt，只是可能没有专门经

了解本专栏 订阅专栏 解锁全文
TigerZ*
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
weixin_38124427的博客
12-07 1017
InstructBLIP-基于指令微调的BLIP系列多模态模型
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
yangyanbao8389的博客
02-28 500
改进Q-Former模型：instruction text与Query Embedding先self-attention融合，再抽取图像特征，得到特定任务的图像信息，作为soft prompt + instruction text传入LLM模型进行预测。由于来自不同领域的额外视觉输入，视觉-语言任务在性质上更加多样化，构建一个能够推广到广泛的视觉-语言任务的统一模型更具挑战性。的视觉语言指令调整框架，该框架通过一个统一的自然语言接口，使通用模型能够解决广泛的视觉任务。提出了一种指令感知的。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning【翻译】
HYD1396395176的博客
05-24 555
在预训练和指令调优管道的驱动下，出现了可以解决各种语言领域任务的通用语言模型。然而，由于额外的视觉输入会增加任务差异，因此构建通用视觉语言模型具有挑战性。尽管视觉语言预训练已得到广泛研究，但视觉语言指令调优的探索相对较少。在本文中，我们基于预训练的 BLIP-2 模型对视觉语言指令调优进行了系统全面的研究。我们收集了各种 26 个公开可用的数据集，将它们转换为指令调优格式，并将它们分为两个集群，用于保持指令调优和保持零样本评估。
多模态：InstructBLIP
Hanze的博客
05-14 1507
由于作者混合多个数据集，每个数据集的大小不同，如果采用均匀采样，可能会造成大数据集underfitting，小数据集overfitting。以前的方法大多要依靠LLM的生成能力，LLM在微调text- only instruction比微调Vision- language 的表现要更让人满意。作者表示，与nlp任务不同，多模态任务由于引入额外的视觉输入，它的任务更加多样化，这似的联合多个模型是一个有挑战性的工作。联合上面的数据集，为不同的任务设置了不同的prompt template。
【学习周报】
zzPaulmn的博客
06-17 272
而在InstructBLIP中，指令文本不仅作为输入给到LLM，同时也给到了QFormer，这样做的好处是：指令通过Q-Former的自注意力层与查询进行交互，影响查询提取与指令所描述的任务更相关的图像特征。根据BLIP-2论文的方法，Q-Former已经分成两个阶段进行了预训练，通过预训练，它学会了提取可以被LLM消化的文本对齐的视觉特征，进而在推理过程中，通过将指令附加在视觉提示后引导LLM执行特定的任务。这些查询的输出特征随后被映射为输入视觉提示，提供给冻结的LLM。
InstructBLIP
whaosoft143ai的博客
07-02 942
InstructBLIP 一共微调 60K steps，3B, 7B, 11/13B 模型的 Batch Size 分别是 192，128，64，优化器使用 AdamW，weight decay 设为 0.05，在前 1000 steps 使用线性的学习率 warm-up，从 10^{-8}10^{-8} 到 10^{-5}10^{-5} ，随后余弦衰减到0，使用 16 A100 GPU 训练 1.5 天。2) 固定 LLM 的参数，训练 Q-Former 的参数，训练目标是文本生成。完成很多多模态任务。
VLM.rar_VLM_升力
09-19
用VLM编制了二维机翼的升力计算，与课本上的算例一致
vlm.rar_VLM_飞行器_飞行器 fortran
09-14
(Fortran 源程序）一个优秀的低速飞行器设计程序 提供给大家分享一下
vlm.zip_VLM_lifting_propeller_propeller design_theory
07-14
propeller design with lifting line theory
论文阅读Vision-Language Models for Vision Tasks A Survey思维导图
11-16
5. VLM Pre-training and Zero-shot Prediction: 否、否、否 VLMs的预训练 VLMs的预训练是学习图像-文本相关性。它包括三个模块：图像编码器、文本编码器和特征融合。图像编码器使用基于CNN的架构或基于...
VLM(基于linux磁盘容量修改)
03-03
下载的东西，大家好好看看就好，用的上最好，用不上也没事。
VLM：Meta AI & CMU提出任务无关视频语言模型视频理解预训练VLM，代码已开源！(ACL 2021)...
我爱计算机视觉
04-16 572
关注公众号，发现CV技术之美本文分享 ACL 2021 论文『VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding』，由 Meta AI & CMU 联合提出任务无关视频语言模型视频理解预训练 VLM，代码已开源！详细信息如下：论文链接：https://arxiv....
【BLIP/BLIP2/InstructBLIP】一篇文章快速了解BLIP系列（附代码讲解说明）
零碎@流年絮语 的博客
10-01 4136
这样的好处在于对于同一张图片，根据不同的instruction，我们可以得到基于instruction偏好更强的视觉特征，同时对于两个不一样的图片，基于instruction内嵌的通用知识，可以使得模型有更好的知识迁移效果。Q-Former的文本输入，保证了Query提取到的特征更加的精炼。使用BLIP-2模型w/ViT-g和FlanT5XXL的指示零样本图像到文本生成的精选示例，其中显示了广泛的功能，包括视觉对话、视觉知识推理、视觉共感推理、故事讲述、个性化图像到文本的生成等。其他与BLIP2基本一样。
基于LLMs的多模态大模型（MiniGPT-4，LLaVA，mPLUG-Owl，InstuctBLIP，X-LLM）
nakaizura
05-26 4185
前一篇博文的最后整理到KOSMOS-1，KOSMOS-1已经开始使用Unnatural Instruction进行微调，其能更好的服从用户需求，本篇博文将继续整理一堆最近出的文章们，包括粘合BLIP-2和Vicuna的MiniGPT-4模型，和一些使用Instruction Tuning来训练的文章们。
VLM 系列——COGVLM—— 论文解读
TigerZ*的博客
01-25 724
COGVLM是一个多模态的视觉-文本模型，当前CogVLM-17B（20231130）可以完成对一幅图片进行描述、图中物体或指定输出检测框、相关事物进行问答，但是这个版本只支持一个图片（为且必为首次输入），只支持英文，几乎不支持写代码（目前测试是的）。模型分四个部分：视觉编码器、MLP适应层（对齐视觉和文本特征）、文本解码器、视觉专家模块。在不损害NLP模型原本能力的情况下，通过“视觉专家”模块 + 两层的MLP adapter 替代浅层的对齐大幅提升了模型的图片描述、视觉问答和视觉定位能力。
用于视觉任务的VLM技术简介
u013250861的博客
10-27 276
对比式目标函数的目的是希望在特征空间使得正样本对之间的距离尽可能接近，而正负样本对之间的距离尽可能远。通常用InfoNCE及其变体作为图像对比学习的目标函数通常由两部分构成，一部分为图像特征到文本特征的InfoNCE，一部分为文本特征与其对应的图像的特征的InfoNCE，将这两者结合作为最终的损失函数。在Image-Text Contrastive的基础上还需要加上label的信息，这里未完待续。。
ChatGPT、AIGC、大语言模型都是啥？
qq_41805932的博客
06-17 424
chatGPT是一种对话生成模型，它是基于深度学习技术，使用了大规模的语料库进行预训练，并通过与用户进行实时对话不断优化模型。ChatGPT的目标是能够以自然而流畅的方式与用户进行对话，提供有用的信息和回答问题，它被广泛应用于客户服务、教育、娱乐等领域，为用户提供个性化、有效的交流体验。AIGC (AlGeneratedContet，即由AI生成的内容) ，是指通过AI技术生成的各种文本、图片、音频和视频等形式的内容。AI技术的发展使得AI生成的内容在质量和多样性方面取得了巨大的进步。
广电行业没落了吗？生成式人工智能（AIGC）媒体应用标准联盟发布，超清化、移动化和智能化是发展趋势
最新发布
Bosma8K的博客
06-17 378
这些年，随着智能手机、网络普及程度越来越高，传统广播电视的打开率下滑，广电行业甚至被纳入“特困”行业名单。根据2022年5月31日，人社部等四部门发布的《关于扩大阶段性缓缴社会保险费政策实施范围等问题的通知》，其中，养老保险费缓缴实施期限到2022年年底，工伤、失业保险费缓缴期限不超过1年。缓缴期间免收滞纳金。然而，广播电视行业真的没落了吗？
[AIGC] 深入理解字典树：通过LeetCode题目学习
程序员三木的博客
06-15 929
字典树是一种树形结构，用于保存关联数组，其中的键通常是字符串。与二叉查找树不同，字典树的关键字不是直接保存在节点中，而是由节点在树中的位置决定。一个节点的所有子节点路径代表的字符都不同。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值