An Introduction to Vision-Language Modeling

最新推荐文章于 2024-09-27 17:31:02 发布
最新推荐文章于 2024-09-27 17:31:02 发布
阅读量122 收藏
点赞数
分类专栏： LLM Daily Multimodal 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/139443804
版权
本文介绍了视觉语言建模（VLM）的不同方法，包括基于Transformer的早期工作、对比学习如CLIP、掩蔽目标的VLM如FLAVA、生成模型如CoCa，以及预训练骨干模型。还讨论了VLM的训练策略、数据处理、评估方法和向视频扩展的挑战。
摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《An Introduction to Vision-Language Modeling》的翻译。

视觉语言建模导论

1 引言

2 VLM家族

2.1 基于Transformer的VLM早期工作

2.2 基于对比的VLMs

2.2.1 CLIP

2.3 带掩蔽目标的VLM

2.3.1 FLAVA

2.3.2 MaskVLM

2.3.3 VLM目标的信息论观点

2.4 基于生成的VLM

2.4.1 学习文本生成器的示例：CoCa

2.4.2 多模态生成模型的一个例子：Chameleon和CM3leon

2.4.3 使用生成的文本到图像模型进行下游视觉语言任务

</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Genera
微风❤水墨
09-11 105
我们的论文表明，噪声网络文本对于视觉-语言学习是次优的，并提出了CapFilt，它以更有效的方式利用网络数据集。Wang et al., 2021）都无法在这两类任务中表现出色，而单一的统一编码器-解码器（Zhou et al., 2020）也限制了模型的能力。与大多数现有的KD方法不同，这些方法只是强制学生模型具有与教师模型相同的类别预测，我们提出的CapFilt可以被解释为在VLP背景下进行更有效的KD的一种方式，其中字幕生成器通过语义丰富的合成字幕传递其知识，而过滤器通过去除噪声字幕传递其知识。
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 1918
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
Arxiv AI 综述列表（2024.05.27~2024.05.31）& VLM
qq_44681809的博客
05-31 887
随着大型语言模型（LLM）近来的流行，人们已经尝试将它们扩展到视觉领域。从拥有可视化助手指导我们穿越陌生环境到仅使用高级文本描述生成图像的生成模型，视觉语言模型（VLM）的应用将显著影响我们与技术的关系。然而，有许多挑战需要解决，以提高这些模型的可靠性。虽然语言是离散的，但视觉在一个更高维度的空间中演化，其中概念并不总是容易离散化的。为了更好地理解将视觉映射到语言背后的机制，我们介绍了这个视觉语言模型（VLM）的简介，希望能帮助任何希望进入该领域的人。
传神论文中心｜第11期人工智能领域论文推荐
OpenCSG的博客
06-12 906
实验证明，该方法在 38 个数据集上的性能与 Transformer 相当，但在时间和内存效率上更具优势，为注意力机制的设计和应用提供了新的思路。传神社区注意到这篇文章中有以下亮点：《Financial Statement Analysis with LLMs》探讨了大型语言模型（LLMs）在财务报表分析中的应用，表明这些模型能够生成有价值的见解，尤其在趋势分析和财务比率计算方面。实验表明，Aya23 在所关注的语言上取得了显著的性能提升，为特定多语言任务提供了更高效和准确的解决方案。
【多模态】13、Vision-Language 模型在视觉任务中的调研
呆呆的猫的博客
06-17 2026
本文主要介绍了 vision-language 模型在视觉任务中的使用
【VLM小白指北 (1) 】An Introduction to Vision-Language Modeling
这个博客太懒了什么都没说
09-22 1010
开一个新坑Vision-Language Modeling (VLM) ，原文76页，慢慢更，for beginners，但也不能之前啥都不会啊。
VL-BEiT：Generative Vision-Language Pretraining（生成Vision-Language预训练）
AcceptGo的博客
06-07 2010
引入一个称之为VL-BEiT的vision-language基础模型，其是通过生成预训练学习到的双向多模态Transformer。这里使用一个共享Transformer对单模态和多模态数据进行masked prediction（掩盖预测）。具体地，对image-text pairs执行masked vision-language modeling，对texts执行masked language modeling，对image执行masked image modeling。......
论文阅读：An Empirical Study of Training End-to-End Vision-and-Language Transformers
xiyou__的博客
02-25 2851
摘要 提出Multimodal End-to-end TransformER framework，即METER，通过这个框架研究如何以一个端到端的方式( in an end-to-end manner )设计和预训练一个完全基于transformer的视觉语言模型。 端到端指的是输入是原始数据，输出是最后的结果，整个模型过程相当于黑箱操作；相反，非端到端的方法，数据的预处理部分是单独的模块，需要人工处理（如人工标注数据，人工提取图片特征）（笔者注） 具体地，模型从多个维度被解剖(dissect)为： 视
51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1308
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
【自监督论文阅读笔记】Green Hierarchical Vision Transformer for Masked Image Modeling
YoooooL_的博客
10-18 1551
为了减轻自注意相对于小块数量的二次复杂度，组注意鼓励均匀划分，使得任意大小的每个局部窗口内的可见小块可以以相等的大小分组，然后在每个组内执行掩蔽的自注意。例如，我们可以将训练分层vit的速度提高约2.7倍，并将GPU内存使用量减少70%，同时仍能享受ImageNet分类上的竞争性能和下游COCO对象检测基准上的优势。本文提出了一种 使用分层Vision Transformer (ViTs) ，例如Swin Transformer [43]，进行 掩码图像建模(MIM)的有效方法，允许。
【Introduction to Artificial Intelligence and Data Analytics】（TBC）
m0_66706847的博客
09-13 515
Introduction to Artificial Intelligence and Data Analytics 笔记。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1105
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 930
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
Python精选200Tips：171-175
AnFany
09-26 1181
Python深度学习的项目
基于深度学习的图像修复算法
weixin_42605076的博客
09-26 528
基于深度学习的图像修复算法旨在通过学习和生成模型来填补图像中的缺失或损坏部分。
Her来了，OpenAI正式发布高级语音模式
shadowcz007的博客
09-25 432
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
numpy is not available
最新发布
xfsong2012的博客
09-27 281
在测试第一个程序的时候，出现Numpy is not available的错误，根据。安装的时候，安装的是最新版的numpy，检查numpy的版本为2.1.1版。我的pytorch版本为1.12.1，选择不高于1.21的版本即可。的办法知道是因为numpy与pytorch版本不一致造成的。2、安装需要的numpy版本，比如1.21版。
持续学习与创新能力的双重提升
thinkers
09-25 458
  ---
bi-vldoc: bidirectional vision-language modeling for visually-rich document
09-16
bi-vldoc是一种用于视觉丰富文档的双向视觉-语言建模方法。 bi-vldoc通过将视觉信息与语言信息结合起来，能够有效地处理视觉丰富的文档。传统的自然语言处理方法通常只处理文本信息，忽视了文档中的视觉元素。而bi-vldoc能够同时考虑文本和图像，并将它们作为输入进行建模，从而更全面地理解和分析文档内容。 bi-vldoc的关键思想是利用双向建模技术。它使用了两个模型：一个是基于视觉的模型，另一个是基于语言的模型。这两个模型相互配合，通过互相补充的方式提高了整体的建模效果。 基于视觉的模型主要用于从图像中提取视觉特征，并将其编码为向量表示。这些向量表示包含了图像的语义信息，能够用于理解图像中的内容。 基于语言的模型主要用于处理文本信息。它能够将文本编码为向量表示，并用于生成关于文本的预测。 在训练时，bi-vldoc使用了大量的带有标注的视觉丰富文档数据集。通过最大化真实标注的概率来训练模型，使其能够根据给定的文档内容生成正确的视觉和语言输出。 bi-vldoc在实际应用中具有广泛的应用前景。例如，在图像描述生成中，它可以根据图像内容生成相关的文本描述。在问答系统中，它可以回答关于图像内容的问题。此外，bi-vldoc还可以应用于文档分类、信息检索等领域，提供更准确和全面的分析和理解能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值