#今日论文推荐#【CVPR2022】UTC: 用于视觉对话的任务间对比学习的统一Transformer

最新推荐文章于 2024-07-09 22:38:00 发布
最新推荐文章于 2024-07-09 22:38:00 发布
阅读量192 收藏
点赞数
分类专栏： 深度学习 文章标签： transformer 深度学习 计算机视觉
原文链接：https://www.aminer.cn/research_report/62747eab7cb68b460fb1124c?download=false
版权

#今日论文推荐#【CVPR2022】UTC: 用于视觉对话的任务间对比学习的统一Transformer

视觉对话旨在回答基于对话历史和图像内容的多轮互动问题。现有方法要么单独考虑答案排序和生成，要么仅通过两个单独的模型微弱地捕捉两个任务之间的关系。在单一模型中共同学习排序和生成答案的通用框架的研究很少。在本文中，我们提出了一个基于对比学习的框架UTC，以统一和促进识别任务和生成任务在视觉对话中使用单一的模型。具体来说，考虑到之前学习范式的内在局限性，我们设计了两种任务间对比损失，即情境对比损失和答案对比损失，使区分性任务和生成性任务相辅相成。这两种互补的对比损失利用对话语境和目标答案作为锚点，从不同的角度提供表征学习信号。我们在VisDial v1.0数据集上评估我们提出的UTC，在那里，我们的方法在鉴别和生成任务上优于最先进的技术，并在Recall@1上超过2个绝对点。

论文题目：UTC: A Unified Transformer with Inter-Task Contrastive Learning for Visual Dialog
详细解读：https://www.aminer.cn/research_report/62747eab7cb68b460fb1124c?download=falseicon-default.png?t=M3K6https://www.aminer.cn/research_report/62747eab7cb68b460fb1124c?download=false
AMiner链接：https://www.aminer.cn/?f=cs

wwwsxn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【深度学习】语义分割：论文阅读：(CVPR 2022) MPViT（CNN+Transformer）：用于密集预测的多路径视觉Transformer
zhe470719的博客
05-31 9559
这里写目录标题0详情1摘要2 主要工作3 网络结构3.1 Conv-stem3.2 Multi-Scale Patch Embedding3.3 Multi-path Transformer3.3.1 多路径Transformer和局部特征卷积CoaT的因素分解自注意深度可分离卷积3.3.2Global-to-Local Feature Interaction4 实验- Semantic segmentation5总结 0详情 论文：MPViT : Multi-Path Vision Transformer
对比学习&Transformer论文清单
huitailangyz的博客
01-30 1611
终终终终于放假了= = 寒假可以看点自己感兴趣的论文了，今年大火的对比学习和一些Transformer相关的论文一直存着没看 列个论文清单，有空的话慢慢看过去 Contrastive Learning 综述 A Survey on Contrastive Self-supervised Learning【20.11】 具体方法 A Simple Framework for Contrastive Learning of Visual Representations(SimCLR)【ICML2020
大模型/NLP/算法2——transformer流程//多头//clip//对比学习//对比学习损失函数
最新发布
AndrewPerfect的博客
07-09 1002
对比学习（Contrastive Learning）是一种机器学习方法，特别是在无监督学习和自监督学习中广泛应用。其核心思想是通过比较不同样本之间的相似性和差异性来学习数据的表示或特征。这种方法不依赖于标签数据，而是通过样本之间的相互关系，使得模型能够学习到有意义的特征表示。
经典论文学习笔记——13篇对比学习（Contrastive Learning）
热门推荐
gailj
03-28 1万+
跟着李沐老师的对比学习课程看了一遍，又照着知乎 / CSDN等各位大佬的总结，重新理解了一遍，下面根据自己的学习来总结一下。着重讲一下MoCo，及附带其他12种对比学习的论文的改进之处。
开往视觉对话研究的列车——2018年第一届视觉对话挑战赛
CSDN人工智能头条
07-02 950
整理 | 姗姗出品 | 人工智能头条（公众号ID：AI_Thinker）【人工智能头条导读】在过去的研究中，计算机视觉和自然语言处理两个领域都取得了飞速的发展与成功。虽然...
ACM MM顶会论文 | 对话任务中的“语言-视觉”信息融合研究
美团技术团队
10-15 4470
总第416篇2020年 第40篇目标导向的视觉对话是“视觉-语言”交叉领域中一个较新的任务，它要求机器能通过多轮对话完成视觉相关的特定目标。该任务兼具研究意义与应用价值。日前，北京邮电大...
车道线检测 CVPR2022 PytorchAutoDrive: 源代码
10-28
标题中的“车道线检测 CVPR2022 PytorchAutoDrive: 源代码”表明这是一个关于车道线检测技术的研究项目，使用的工具是Pytorch框架，并且该项目在2022年的计算机视觉与模式识别会议（CVPR）上有所展示。CVPR是计算机...
transformer：CVPR 论文链接
04-16
transformer
颜色分类leetcode-2017_CVPR_Papers:2017年计算机视觉与模式识别大会深度学习优秀论文
07-06
计算机视觉与模式识别会议优秀深度学习论文。 理论实验与研究 :check_mark_button: [反馈网络] :check_mark_button: 【手工和学习局部特征的对比评价】 :check_mark_button: 【理解深度学习需要重新思考泛化】 模型...
微软论文解读：用于视觉对话的多步双重注意力模型
Paper weekly
05-14 482
作者丨张琨学校丨中国科学技术大学博士生研究方向丨自然语言处理论文动机当前 Visual dialog 模型尽管已经取得了令人印象深刻的表现，但当问题涉及到图像的特定区域...
VD-BERT（统一视觉对话 2020 EMNLP）
qq_43390809的博客
12-21 2946
VD-BERT: A Unified Vision and Dialog Transformer with BERT https://github.com/salesforce/VD-BERT. 本文贡献 展示了BERT可以通过简单的视觉基础训练来有效地适应视觉对话任务，以捕捉复杂的视觉对话交互。此外，VD-BERT是第一个支持discriminative和 generative训练设置的统一模型，没有显式解码器。 不需要对外部视觉语言数据进行预处理，模型在视觉对话基准的discriminative设.
VD-BERT：用BERT搭建统一的视觉对话模型
Paper weekly
09-10 638
论文标题：VD-BERT: A Unified Vision and Dialog Transformer with BERT论文作者：Yue Wang, Shafiq Joty, Mi...
对比学习综述
flyingluohaipeng的博客
01-05 3771
它们使用的代理任务是不一样的，有个体判别，有预测未来，还有多视角多模态它们使用的目标函数也不尽相同，有 NCE，有infoNCE，还有NCE的其它变体它们使用的模型也都不一样，比如说invariant spread用了一个编码器；Inst Disc用一个编码器和memory bank；CPC有一个编码器，还有一个自回归模型；CMC可能有两个甚至多个编码器它们做的任务从图像到视频到音频到文字到强化学习，非常的丰富多彩。目标函数都是用infoNCE或者infoNCE类似的目标函数去算的。
对比学习论文综述（part4 transformer + 总结）
qq_45807235的博客
12-13 1655
第四阶段讲的是Transformer是如何将对比学习有机结合起来的
【自然语言处理】【多模态】UniT：基于统一Transformer的多模态多任务学习
bqw的博客
05-29 2468
UniT：基于统一Transformer的多模态多任务学习 《UniT：Multimodal Multitask Learning with a Unified Transformer》 论文地址：https://arxiv.org/pdf/2102.10772.pdf 一、简介 ​ Transformer\text{Transformer}Transformer在各个领域都获得的巨大的成功，包括但不限于自然语言、图像、视频和音频。先前的工作表明，在大规模语料上预训练的Transformer\text{Tr
各种Transformer模型总结与比较
zephyr_wang的博客
02-08 8915
1 Transformer发展历程 Transformer类的模型目前在自然语言处理任务中大放异彩，部分任务已超越人类水平。本文将Transformer分为三大类别，分别是seq2seq、Autoregressive（AR）和Autoencoding（AE），以及介绍了BERT、DeBERTa、GPT、BART等等各种transformer模型。 1.1 序列到序列模型（seq2seq） seq2seq属于encoder-decoder结构的一种，基本思想就是利用两个RNN，一个RNN作为encoder，另
推荐五篇论文| 轻量级的Transformer; 对比学习；ResNeSt；Shortcut Learning等
fengdu78的博客
04-30 3664
本文介绍了最近比较有意思的五篇文章：轻量级的transformer监督式的对比学习shortcur learningResNeStAttention模块的分析Lite Transform...
CVPR 2022 论文精选：检测、分割与更多领域前沿进展
"CVPR 2022 最新论文分类整理及开源代码合集，包含检测、分割、图像处理、视频处理等多个领域，以及相关的论文接收、更新信息和官方链接。" 在计算机视觉领域，CVPR (Computer Vision and Pattern Recognition) 是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值