TPAMI 2024 | TransVG++：基于语言条件视觉Transformer的端到端视觉定位

最新推荐文章于 2024-10-03 23:00:32 发布
最新推荐文章于 2024-10-03 23:00:32 发布
阅读量151 收藏
点赞数 6
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 深度学习 人工智能 TAPMI 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/140922029
版权
论文解读 IEEE TPAMI 专栏收录该内容
234 篇文章 15 订阅 ¥49.90 ¥99.00
订阅专栏

题目：TransVG++: End-to-End Visual Grounding With Language Conditioned Vision Transformer

TransVG++：基于语言条件视觉Transformer的端到端视觉定位

作者：Jiajun Deng , Zhengyuan Yang , Daqing Liu , Tianlang Chen , Wengang Zhou ,Yanyong Zhang , Houqiang Li , Wanli Ouyang , Senior Member

源码链接： https://github.com/djiajunustc/TransVG

摘要

在这项工作中，我们探索了基于Transformer的整洁而有效的框架，用于视觉定位问题。以往的方法通常通过手动设计的机制来解决视觉定位的核心问题，即多模态融合和推理。这种启发式设计不仅复杂，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，它通过Transformer建立多模态对应关系，并通过直

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024| DualCoOp++：一种快速高效的有限注释多标签识别方法
小白学视觉
05-25 809
在低标签状态下的多标签图像识别是一项极具挑战性和实际意义的任务。之前的工作主要集中在学习文本和视觉空间之间的对齐，以弥补图像标签的不足，但由于高质量多标签注释的缺乏，可能会导致精度下降。在这项研究中，我们利用了通过数百万辅助图像-文本对预训练的强大文本和视觉特征对齐能力。我们引入了一种高效的框架，称为证据引导的双上下文优化 (DualCoOp++)，作为解决部分标签和零样本多标签识别的统一方法。在 DualCoOp++ 中，我们分别为目标类别编码证据、正面和负面上下文，作为语言输入的参数化组件（即提示）。
论文：TransVG: End-to-End Visual Grounding with Transformers
m0_38064230的博客
11-02 3241
作者 Abstract 在本文中，我们提出了一个简洁而有效的基于转换的视觉基础框架，即TransVG，以解决将语言查询与图像上相应区域的基础任务。最先进的方法，包括两阶段或一阶段的方法，依赖于一个复杂的模块和手动设计的机制来执行查询推理和多模式融合。然而，在融合模块设计中，由于查询分解和图像场景图等机制的参与，使得模型很容易过度适应特定场景的数据集，限制了视觉语言环境之间的充分交互。为了避免这种警告，我们建议通过利用Transformer建立多模态对应关系，并通过经验证明，复杂的融合模块（例如，模块化注意
TransVG++:End-to-End Visual Grounding with Language Conditioned Vision Transformer
asuiyu的博客
04-30 242
凭经验判断，Transformer的stack越多效果越好。然而，TransVG中的核心融合变压器是独立于单模态编码器的，因此应该在有限的视觉接地数据上从头开始训练，这使得难以优化并导致次优性能。 为此，我们进一步引入TransVG++来进行两方面的改进。首先，我们通过利用视觉转换器(Vision Transformer, ViT)进行视觉特征编码，将我们的框架升级为 纯粹基于Transformer的框架。另一方面，我们设计了语言条件视觉转换器，
[VG] TransVG++
weixin_45863274的博客
08-29 1026
我们首先提出了 TransVG，它通过 Transformer 建立多模态对应关系，并通过直接回归框坐标来定位参考区域。我们凭经验表明，复杂的融合模块可以被一个简单的 Transformer 编码器层堆栈所取代，具有更高的性能。然而，TransVG 中的核心融合 Transformer 独立于单模态编码器，因此应该在有限的视觉基础数据上进行训练，这使得它难以优化并导致次优性能。为此，我们进一步引入 TransVG++ 进行双重改进。
RIS 系列 TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer 论文阅读笔记
乄洛尘
07-09 1837
本文探索基于 Transformer 的网络用于视觉定位。之前方法通常解决的是视觉定位中的核心问题 ，例如采用手工设计的机制进行多模态融合及推理，缺点是方法复杂且在特定数据分布上容易过拟合。于是本文首先提出 TransVG，通过 Transformer 建立起多模态间的关联，并直接通过定位到指代目标来回归出 Box 的坐标。实验表明复杂的融合模块能被堆叠的 Transformer 编码器层替代。
RIS 系列：TransVG: End-to-End Visual Grounding with Transformers 论文阅读笔记
乄洛尘
06-23 1392
本文提出基于 Transformer 的网络：TransVG，用于视觉定位——根据输入的语言找到图像中的对应目标区域。当前 SOTA 的一阶段和二阶段模型依赖于复杂的手工模块来执行 query 推理和多模态融合。然而，多融合机制中某些模块的设计，例如 query 解耦和图像场景图使得模型很容易拟合特定的场景，从而限制视觉-语言上下文的充分交互。于是本文提出基于 Transformer 的多模态关联。
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 1279
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024 | MsSVT++: 用于3D目标检测的混合尺度稀疏体素TransFormer与中心投票
小白学视觉
06-25 134
大规模户外场景中精确的3D目标检测需要同时具备丰富长距离和细粒度信息的特征。尽管最近的检测器已经利用基于窗口的变换器来模拟长距离依赖性，但它们往往忽视了细粒度细节。为了弥补这一差距，我们提出了MsSVT++，一种创新的多尺度稀疏体素变换器，它通过分而治之的方法同时捕获这两种类型的信息。这种方法涉及显式地将注意力头分为多个组，每个组负责关注特定范围内的信息。这些组的输出随后被合并以获得最终的多尺度特征。
TPAMI 2024 | MTR++: 具有对称场景建模和引导意图查询的多智能体运动预测
小白学视觉
07-14 200
运动预测是自动驾驶系统理解复杂驾驶场景并做出明智决策的关键任务。然而，由于交通参与者的多样化行为和复杂的环境背景，这项任务充满挑战。在本文中，我们提出了Motion TRansformer (MTR) 框架来应对这些挑战。初始的MTR框架采用了具有可学习意图查询的transformer编码器-解码器结构，实现了未来轨迹的高效准确预测。通过为不同的运动模态定制意图查询，MTR在减少对密集目标候选的依赖的同时，改进了多模态运动预测。该框架包括两个关键过程：全局意图定位，识别代理的意图以提高整体效率；
transvg:SVG l10n 助手
06-15
转SVG 注意：这个项目几乎已经死了。 但是，如果您喜欢这个想法，请尝试联系我，我们会实现它。 干杯! SVG l10n 助手 这个小软件主要面向翻译和处理SVG文件的 l10n 团队。 这可能对图表、信息图表、图表等有用。 主要（未来）功能包括： 将SVG文件解析为XML并识别 l10n 字符串 隔离字符串并创建某种目录，类似于 PO 文件 为翻译人员提供工作GUI ，可能类似于 poedit 根据目录文件创建无限数量的不同翻译 将翻译导出回SVG文件 ： : 软件依赖： Python 2.7 gettext（尚未实现） 任何 .po 文件编辑器（我推荐 poedit） 所需的 Python 模块： xml文件 elementtree（现在都在测试中，只有一个会存活下来） 关于 pprint（可选，仅用于测试目的） 当然，让自动化工具翻译一些字符串可能会导
TPAMI 2024 | DaGAN++: 用于生成会说话的头部视频的深度感知生成对抗网络
小白学视觉
06-16 133
目前，关于生成会说话的头像视频的主要技术大多依赖于2D信息，包括输入面部图像中的面部外观和运动。然而，密集的3D面部几何信息，如像素级深度，在构建精确的3D面部结构和抑制复杂背景噪声方面起着关键作用。然而，获取面部视频的密集3D注释成本极高。在本文中，首先，我们提出了一种新的自监督方法，用于从面部视频学习密集的3D面部几何（即深度），无需在训练中使用相机参数和3D几何注释。我们进一步提出了一种策略，通过学习像素级不确定性来感知更可靠的刚体运动像素，以便于几何学习。
探索未来视觉语义理解：TransVG 开源项目详解
gitblog_00037的博客
06-11 308
探索未来视觉语义理解：TransVG 开源项目详解 项目地址:https://gitcode.com/djiajunustc/TransVG 项目介绍 TransVG（Transformers for Visual Grounding）是一种基于Transformer的端到端视觉语义定位（Visual Grounding）方法，其官方实现已被接受为ICCV 2021论文的一部分。这个项目旨在通过T...
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1426
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
深度学习：DCGAN
Landy_Jay的博客
10-01 369
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
AI学习指南深度学习篇-批标准化（Batch Normalization）简介
俞兆鹏的博客
09-28 836
批标准化是深度学习领域不可或缺的重要技术之一，极大地提高了训练速度和模型性能。它通过标准化中间层的输出，减轻了内部协变量偏移的影响，有效解决了训练过程中常见的问题。从传统的深度网络到现代复杂模型，批标准化为深度学习的快速发展做出了重要贡献。在实际应用中，理解并有效利用批标准化的特性，可以帮助我们构建更高效、准确的深度学习模型。继续深入研究和探索批标准化在其他网络构架中的应用，将进一步推动深度学习的发展与多样性。
深度学习-----------------机器翻译与数据集
Einstein·Jun
10-03 258
绘制每个文本序列所包含的标记数量的直方图。
基于深度学习的视频摘要生成
最新发布
weixin_42605076的博客
10-03 366
信息过载：随着视频内容的爆炸性增长，用户很难有效地消费大量视频，视频摘要可以帮助快速浏览重要内容。多场景应用：视频摘要可用于社交媒体、视频检索、监控分析、教育视频浓缩等领域。结合音频与字幕：多模态方法可以同时分析视频、音频、字幕等多种信号，提升摘要生成的准确性和丰富性。视觉和语义信息结合：通过结合视觉内容与语义信息（如字幕或语音转录），模型可以生成更具语义理解的摘要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值