TPAMI 2024 | 增强视觉-语言预训练中的视觉定位与位置引导文本提示

最新推荐文章于 2024-08-09 15:16:12 发布
最新推荐文章于 2024-08-09 15:16:12 发布
阅读量60 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 论文解读 计算机顶会 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/139219846
版权
论文解读 IEEE TPAMI 专栏收录该内容
130 篇文章 9 订阅 ¥29.90 ¥99.00
订阅专栏

题目：Enhancing Visual Grounding in Vision-Language Pre-Training With Position-Guided Text Prompts

增强视觉-语言预训练中的视觉定位与位置引导文本提示

作者：Alex Jinpeng Wang; Pan Zhou; Mike Zheng Shou; Shuicheng Yan

摘要

视觉-语言预训练（VLP）在图像和文本对齐方面展示了巨大的潜力，为广泛的跨模态学习任务铺平了道路。然而，我们观察到 VLP 模型在视觉定位和局部化能力方面经常表现不佳，而这些能力对许多下游任务，如视觉推理，至关重要。为此，我们提出了一种新颖的位置引导文本提示（PTP）范式，以增强使用 VLP 训练的跨模态模型的视觉定位能力。在 VLP 阶段，PTP 将图像划分为 N ×

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
跨模态检索论文阅读：(PTP)Position-guided Text Prompt for Vision-Language Pre-training
zag666的博客
06-23 1725
在这项工作中，我们提出了一种新的位置引导的文本提示（PTP）范式，以提高用VLP训练的跨模态模型的视觉定位能力。具体来说，在VLP阶段，PTP将图像分为N×N块，并通过VLP中广泛使用的目标检测器识别每个块中的目标。然后，它通过鼓励模型预测给定区块中的目标或重新定义给定目标的区块，将视觉定位任务重新表述为给定PTP的填空问题，例如，在PTP中填写"[P]“或”[O]"，“区块[P]中有一个[O]”。 这种机制提高了VLP模型的视觉定位能力，从而帮助它们更好地处理各种下游任务。
2021: E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning
weixin_42653320的博客
02-17 1419
摘要 大多现有的预训练方法主要采用两阶段训练过程，首先利用一个预训练好的目标检测器来提取基于区域的视觉特征，然后连接图像表示和文本嵌入作为Transformer的输入用于训练。然而，这些方法面临使用特定对象检测器的特定任务的视觉表示来实现通用的跨模态理解，以及两阶段管道的计算效率低下的问题。 本文，我们提出第一个端到端的视觉-语言预训练好的用于V+L理解和生成的模型，命名为E2E-VLP，我们建立了一个统一的Transformer框架来共同学习视觉表示，以及图像和文本之间...
TPAMI 2024 |X 2 -VLM：视觉语言任务的全能预训练模型
小白学视觉
05-28 78
视觉语言预训练旨在从大量数据中学习视觉和语言之间的对齐。大多数现有方法仅学习图像-文本对齐。其他一些方法利用预训练的对象检测器在对象级别上利用视觉语言对齐。在本文中，我们提出了一种通过统一预训练框架同时学习多粒度对齐和多粒度定位的方法。基于此，我们提出了X2-VLM，一种具有灵活模块化架构的全能模型，我们进一步在一个模型中统一了图像-文本预训练和视频-文本预训练。X2-VLM能够学习与多样化文本描述相关的无限视觉概念。
TPAMI 2024 | 上下文解耦与原型继承：用于鲁棒视觉定位
小白学视觉
06-05 73
视觉定位（VG）旨在根据给定的语言查询在图像中定位一个特定目标。来自上下文的区分信息对于区分目标和其他对象非常重要，特别是对于那些与其他人具有相同类别的目标。然而，大多数先前的方法低估了这类信息。此外，它们通常设计用于标准场景（没有任何新对象），这限制了它们在开放词汇场景中的泛化能力。在本文中，我们提出了一个新颖的框架，通过上下文解耦和原型继承来实现鲁棒的视觉定位，以处理这两种场景。具体来说，上下文解耦分离了指代和上下文特征，实现了它们之间更好的区分。
TPAMI 2024 | 自训练增强的多因素匹配网络在合成图像检索中的应用
小白学视觉
07-01 23
图像组合检索（CIR）任务旨在为给定的多模态查询检索所需的目标图像，即带有对应修改文本的参考图像。现有方法主要存在两个局限性：1）忽视了多个查询-目标匹配因素；2）忽略了现有基准数据集中潜在的未标记参考-目标图像对。解决这些局限性具有挑战性，因为：1）需要在没有直接监督信号的情况下有效建模多个匹配因素；2）需要利用未标记的参考-目标图像对来提高CIR模型的泛化能力。
TPAMI 2024 | 每个问题，每个步骤，全部聚焦：通过集成注意力学习解决视觉-语言问题
小白学视觉
08-08 13
集成视觉和语言模态的信息在计算机视觉和自然语言处理领域激发了有趣的应用。尽管现有方法在图像描述和视觉问题回答等任务上显示出了前景，但它们在理解现实生活问题和提供分步解决方案方面面临挑战。特别是，它们通常将解决方案的范围限制在具有序列结构的解决方案上，从而忽略了复杂的多步骤依赖性。为了弥补这一差距，我们提出了一种基于图的方法来解决视觉-语言问题。它利用了一种新颖的集成注意力机制，该机制联合考虑了每个步骤内的特征重要性以及多个步骤间的跨步骤依赖性。
TPAMI 2024 | Knockoff SPR：带噪声标签学习中的干净样本选择
小白学视觉
06-08 67
作者：Yikai Wang; Yanwei Fu; Xinwei Sun源码链接： https://github.com/YikaiWang/Knockoffs-SPR噪声训练集通常会导致神经网络的泛化和鲁棒性下降。在本文中，我们提出了一个新的理论保证的清洁样本选择框架，用于噪声标签的学习。具体来说，我们首先提出了一种可扩展的惩罚回归（SPR）方法，用于模拟网络特征和独热标签之间的线性关系。在SPR中，通过回归模型中解决的零均值偏移参数来识别清洁数据。我们理论上展示了在某些条件下SPR可以恢复清洁数据。在一
TPAMI 2024 | MotionDiffuse：基于文本驱动的人体运动生成扩散模型
小白学视觉
07-21 91
人类动作建模是许多现代图形应用的重要组成部分，通常需要专业技能。为了消除普通人的专业技能障碍，最近的动作生成方法可以直接根据自然语言生成人体动作。然而，使用各种文本输入实现多样化和细粒度动作生成仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是最早的基于扩散模型的文本驱动动作生成框架之一，它展示了相对于现有方法的几个理想属性。1) 概率映射。与确定性的语言-动作映射不同，MotionDiffuse通过一系列去噪步骤生成动作，在这些步骤中注入变化。2) 现实合成。
TPAMI 2024 |NaturalSpeech: 具有人类水平质量的端到端文本到语音合成
小白学视觉
07-19 88
近年来，文本到语音（TTS）系统在学术界和工业界都取得了快速进步。一些自然的问题随之而来，例如TTS系统是否能够达到人类水平的质量，如何定义/判断这种质量，以及如何实现它。在本文中，我们首先基于主观测量的统计显著性定义了人类水平的质量，并引入适当的指南来判断它，然后开发了一个名为NaturalSpeech的TTS系统，在基准数据集上实现了人类水平的质量。
数据融合matlab代码-TPAMI-CU-Net:TPAMI-CU-Net
05-22
数据融合matlab代码TPAMI-CU-Net 该存储库是我们题为“用于多模式.../深度训练数据集来自，可以从下载。 RGB /多光谱数据集来自Columbia multi-spectral。 Flash /非Flash数据集来自。 多重曝光数据集来自。 按照Genera
Res2Net-PretrainedModels:（ImageNet预训练模型）TPAMI论文“ Res2Net”的官方pytorch实现
05-05
我们的论文被IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）接受。 更新 2020.10.20 PaddlePaddle版本Res2Net达到85.13％top-1 acc。 在ImageNet上： 。 2020.8.21发布了使用Res2Net...
TPAMI-FCT论文
03-07
- **论文来源**：该论文发表在IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)上，是一篇关于计算机视觉领域中的目标跟踪技术的研究文章。 - **作者介绍**：论文由Kaihua Zhang、Lei Zhang...
HRNet-Semantic-Segmentation:这是TPAMI论文“视觉识别的深层高分辨率表示学习”的语义分段的正式实现。 https
04-28
[2021/02/16]基于预训练权重，我们在Cityscapes val上达到83.22％ ，在PASCAL-Context val（新SOTA上）达到59.62％ ，在COCO-Stuff val（新SOTA上）达到45.20％，在58.21％上达到LIP值和ADE20K值的47.98％ 。...
semantic-object-accuracy-for-generative-text-to-image-synthesis:用于“生成文本到图像的合成的语义对象准确性”的代码（TPAMI 2020）
05-04
生成文本到图像的语义对象精度TPAMI 2020中发布的（ ）的代码。 我们摘要。 语义对象准确度（SOA）是我们引入的一个分数，用于评估生成的文本到图像模型的质量。 为此，我们提供了来自MS-COCO数据集的标题，评估后的...
从今年的计算机视觉比赛看风向
最新发布
Awesome Computer Vision, 做计算机视觉的程序员
08-09 423
显然已经没有了传统CV的位置了，由于大模型算力要求高···除了唯一一道Open-set比赛外，其他都变成了方案型，不再线上比拼指标了。仅剩的一道CV题，也不是普通的刷某个任务了，变成了开放集检测。要抓紧拥抱变化···拥抱大模型了，问题来了，卡呢···同行们转方向转得咋样了。
MediaPipe人体姿态、手指关键点检测
不会代码的小林
08-07 6649
Mediapipe是google的一个开源项目，用于构建机器学习管道提供了16个预训练模型的案例：人脸检测、Face Mesh、虹膜、手、姿态、人体、人物分割、头发分割、目标检测、Box Tracking、Instant Motion Tracking、3D目标检测、特征匹配、AutoFlip、MediaSequence、YouTube-8M肢体识别本质上还是分类任务，该技术有很多应用场景，比如手势识别控制类应用、动作检测类应用、动作评测类应用、以及一些移动设备AR视频合成类应用。...
YOLOv10实时端到端目标检测
不会代码的小林
08-08 1671
距离上次写YOLOv5已经过去了两年，正好最近用YOLOv10重构了项目，总结下YOLOv10。YOLOv10真正实时端到端目标检测，那么什么是端到端？端到端目标检测是一种从原始数据输入到最终结果输出的直接过程，无需分步骤处理或人工干预。在YOLOv10中移除非最大抑制（NMS），从而减少了推理延迟。
IEEE TPAMI 2022年的视觉期刊
04-05
IEEE TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）是一个高质量的视觉期刊，涵盖了计算机视觉、模式识别、机器学习等领域的研究。以下是IEEE TPAMI 2022年的视觉期刊： 1. Volume 44,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值