BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Genera

已于 2024-09-12 09:18:09 修改
阅读量162 收藏
点赞数
分类专栏： LLM & AIGC & VLP 文章标签： LLM
于 2024-09-11 19:33:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/142138994
版权

论文：https://icml.cc/virtual/2022/spotlight/16016

代码：https://github.com/salesforce/BLIP

发表：ICML 2022

背景：多模态模型在Blip之前，很难出现一种既能完成图文匹配（理解），又能完成生成任务（生成）：Blip一大贡献在于将自然语言理解和自然语言生成任务进行了融合形成了多模态通用模型——统一 视觉-语言 理解和生成任务！

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
专栏目录
订阅专栏
blip2：Bootstrapping lanuage-image pre-training with frozen image encoders and large lanuage models
liguandong
10-27 320
leared-queries是一个参数矩阵，本文中是32x768，即32个token，每个token的维度是768，远小于冻结图像特征的大小，例如ViT-L/14为257x1024，该参数作为transformer的Q，image encoder输出的图像特征一般也是768维度，token数量是N，输出N*768，作为transformer的K,V，有了QKV之后，三者就可以做cross-attention，从而完成图像特征的提取，可以将learned-queries理解为提取与文本最相关的视觉信息。
论文解读：(BLIP)Bootstrapping Language-Image Pre-training for Unified Vision-Language
weixin_50917576的博客
04-25 1800
视觉语言预训练(VLP)提高了许多视觉语言任务的性能。然而，大多数现有的预训练模型只擅长基于理解的任务或基于生成的任务。此外，性能的提高很大程度上是通过使用从网络收集的噪声图像-文本对扩展数据集来实现的，这是一种次优的监督来源。本文提出了一种新的VLP框架BLIP，它可以灵活地转移到视觉语言理解和生成任务中。BLIP通过引导标题有效地利用了带有噪声的web数据，其中标题生成合成标题，滤波器去除噪声。
BLIP:Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generat
最新发布
weixin_42136827的博客
10-03 976
Wang et al., 2021）使用了从网络中自动收集的图像和替代文本对 {(Iw, Tw)}，但这些替代文本（alt-text）通常不能准确描述图像的视觉内容，使其成为噪声较大的信号，不适合用于学习视觉-语言对齐。使用 ViT 更加计算友好。BLIP 旨在设计一个可以同时处理理解和生成任务的模型，并通过引导策略（生成与过滤）优化预训练数据的质量，从而在广泛的视觉-语言任务中取得最先进的性能。最终，将过滤后的图像-文本对与人工标注的图像-文本对相结合，形成一个新的数据集，用于预训练一个新的模型。
2022: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and
weixin_42653320的博客
02-15 4204
摘要 大多现有的视觉语言预训练好的模型只善于基于理解的任务或基于生成的任务，而且，性能的提高很大程度上是通过扩大来自web上收集的有噪声的图像-文本对的数据集，这是一个次优的监督来源。本文，提出BLIP，一种新的VLP框架，可以灵活地转换到视觉-语言理解和生成任务。BLIP通过引导字幕，有效地利用了有噪声的web数据，其中字幕器生成合成字幕，过滤器去除有噪声的字幕。我们在广泛的视觉语言任务上实现了最先进的结果，如图像-文本检索、图像标注和VQA。BLIP能以零样本的方式直接转移到视频-语言...
BLIP:Bootstrapping language-image pre-training for unified VL understanding and generation
liguandong
05-09 204
captioner是因为作者在训练出来decoder之后，发现blip的decoder很好，有时候它生成出来的句子要比原始的图像文本对要很多，即使原来的图文对是一个match，但是新生成出来的文本更加匹配，质量更高，因此作者想能不能使用生成的句子去做训练，作者也是在coco数据上把已经训练好的image grounded text decoder微调了一下，得到了captioner，使用captioner给图片生成新的句子，当然Ts的质量可高可低，最终通过captioner和filter来获取数据。
【论文速递】BLIP：Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and G
cyril_的博客
12-29 694
BLIP提出了混合编码器MED和数据增强器CapFilt，预训练模型可通用于各类VLP任务，比如字幕生成、图文问答、图文匹配、VQA等
＜＜多模态预训练—泛读＞＞2022：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Unders
金克丝的博客
06-30 1309
目录问题与方案：一、Introduction二、Related Work2.1、Vision-language Pre-training2.2、Knowledge Distillation2.3、Data Augmentation三、Method3.1. Model Architecture3.2、Pre-training Objectives3.3、CapFilt四、Experiments and Discussions五、Conclusion 视觉语言预训练（VLP）通过对大规模网络上的图像
多模态之BLIP—实现统一的视觉语言理解和生成，细节理解与论文详细阅读：Bootstrapping Language-Image Pre-training
小小帅
04-12 3457
现有的VLP存在的问题：（擅长理解/生成任务，次优的监督数据源）视觉语言预训练（VLP）提高了许多视觉语言任务的性能。然而，大多数现有的预训练模型只擅长基于理解的任务或基于生成的任务。此外，性能的提高主要是通过扩大从网络上收集的噪声图像-文本对数据集来实现的，而这是一种次优的监督来源。BLIP的优势：（擅长理解和生成任务，能过滤掉噪声字幕）在本文中，我们提出了一个新的 VLP 框架 BLIP，它可以灵活地应用于视觉语言理解和生成任务。BLIP 通过。
【深度学习】BLIP: 用于统一的视觉-语言理解和生成的引导式语言图像预训练
q742971636的博客
09-24 634
视觉语言预训练（VLP）已经提高了许多视觉语言任务的性能。然而，大多数现有的预训练模型在理解型任务或生成型任务中只表现出色于一方。此外，性能的提高主要是通过扩大从网络收集的带有噪音的图像文本对数据集来实现的，这不是一个最佳的监督来源。在本文中，我们提出了BLIP，一个新的VLP框架，可以灵活地用于视觉语言理解和生成任务。BLIP通过引导式生成标题的方式有效地利用了网络中的噪音数据，其中一个标题生成器生成合成标题，而一个过滤器则删除噪音标题。
BLIP：统一视觉语言理解与生成的预训练模型
m0_51976564的博客
11-16 1万+
BLIP：统一视觉语言理解与生成的预训练模型 Blip: Bootstrapping language-image pre-training for unified vision-language understanding and generation
【论文笔记】BLIP-2: Bootstrapping Language-Image Pretrainingwith Frozen Image Encoders and Large Language
weixin_50862344的博客
06-24 841
BLIP-2通过轻量级的查询转换器弥补了模态缺口，该转换器分两个阶段进行预训练。第一阶段从冻结图像编码器中引导视觉语言表示学习。第二阶段从冻结的语言模型中引导视觉到语言生成性学习。
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Gen
s_m_c的博客
08-05 741
最后，我们将过滤后的图像-文本配对与人工标注的配对结合起来，形成一个新的数据集，用于预训练一个新的模型。另一个是过滤器，用于去除原始网络文本和合成文本中的噪声字幕。2. 将预训练MED微调为Captioner和Filter两个模块 3. 使用微调后的Captioner对训练数据生成一系列的字幕 4. 把这些生成的字幕和原始网络文本通过预训练的 Filter 过滤，删除噪声文本字幕 5. 最后将。我们对采用不同参数共享策略预训练的模型进行了评估，其中预训练是在包含网络文本的 1400 万张图像上进行的。
多模态系列论文--BLIP 详细解析
lansebingxuan的专栏
07-08 2496
所以作者用生成的文本充当新的训练数据集，具体的，作者在coco数据集上把已经训练好的image grounded text decoder又微调了一下，得到了captioner，然后给定任意一张从网上爬下的图片，用这个captioner给这个图片生成新的字幕，也就是红色这里的ts，经过filter筛选后，添加到数据集中，它是synthetic data。（Ih，Th）是手工标注的Coco数据集。这样就用统一的一个模型，即训练的时候是一个模型，推理的时候可以根据不同的任务选择这个模型中的某一部分去做推理。
[BLIP]-多模态Language-Image预训练模型
yangyanbao8389的博客
11-18 4347
学习MoCo思想，引入momentum encoder和Queue扩大对比学习的batch大小，base encoder用于梯度更新产生新的embedding，momentum encoder根据以下公式更新，k表示momentum encoder参数，q表示base encoder参数，主要为了提升embedding的一致性，维持队列大小，将最新的embedding入队列，弹出队列头embedding。最后，论文将过滤后的图像-文本对与人工标注的文本对结合起来，形成一个新的数据集用它来预训练一个新模型。
【多模态】6、BLIP-2 | 使用 Q-Former 连接冻结的图像和语言模型 实现高效图文预训练
热门推荐
呆呆的猫的博客
04-11 1万+
本文主要介绍 BLIP-2
BLIP模型实战：多模态文本-视频打架行为检测与检索
项目利用BLIP大模型的多模态功能，可以对视频中的特定行为（如打架）进行检测，并且可以轻松扩展到其他行为的识别。项目提供了详细的执行流程，包括创建和激活conda虚拟环境，安装依赖，以及一键执行脚本。检测结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值