（八十三）：Vision Transformer with Deformable Attention

已于 2023-06-20 19:52:18 修改
阅读量330 收藏
点赞数
分类专栏： “情感分析”研究方向论文-精读总结 文章标签： 计算机视觉 人工智能 深度学习
于 2022-03-27 09:10:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37486501/article/details/123135539
版权
本文介绍了变形注意力Transformer（DAT），一种结合了可变形注意力模块和视觉Transformer的新型模型，旨在解决传统Transformer过度关注和计算成本高的问题。DAT通过数据依赖的偏移量学习，使注意力模块能聚焦于相关区域，提高信息捕获效率，同时适用于图像分类和密集预测任务。实验证明，DAT在ImageNet-1K、COCO对象检测和ADE20K语义分割等任务上优于Swin Transformer等基线，特别是在处理大对象和小对象时表现突出。
摘要由CSDN通过智能技术生成

（八十三）：Vision Transformer with Deformable Attention

  • 出处：CoRR abs/2201.00520 (2022)
  • 代码：https://github.com/LeapLabTHU/DAT
  • 题目：具有变形注意力的视觉变压器
  • 主要内容：提出了一种新型可变形自注意力模块，其中以数据相关的方式选择自注意力中键值对的位置，使得自注意力模块能够专注于相关区域，并捕获更多信息特征。
  • 前两个阶段主要学习局部特征，

Abstract

Trnsformers最近在各种视觉任务上表现出卓越的表现。巨大的、有时甚至是全球性的接受域赋予Transformer模型比CNN模型更高的表现能力。然而，单纯扩大接受野也会引起一些问题。
一方面，在ViT中使用密集的注意力会导致内存和计算成本过高，并且特征会受到超出兴趣区域的不相关部分的影响。
另一方面，在PVT或Swin Transformer中采用的稀疏注意是数据不可知的，可能会限制建模长期关系的能力。

  • 为了缓解这些问题，我们提出了一种新的可变形的自我注意模块，该模块以数据依赖的方式选择了自注意中的键和值对的位置。
了解本专栏 订阅专栏 解锁全文
Laura_Wangzx
关注
专栏目录
订阅专栏
可变形的Tranformer算法详解与源码——DAT:Vision Transformer with Deformable Attention
qq_52053775的博客
08-26 2196
和分别表示变形的键嵌入和值嵌入。具体来说，我们将采样函数（·；·）设置为一个双线性插值，使其可微：其中和索引了上的所有位置。由于g只在最接近的4个积分点上不为零，因此它简化了等式（8）到4个地点的加权平均值。与现有的方法类似，我们对q、k、v进行多头注意，并采用相对位置偏移r。注意头的输出表述为：其中对应于之前的工作[26]之后的位置嵌入，同时有一些适应。细节将在本节后面解释。每个头的特征被连接在一起，并通过Wo进行投影，得到最终的输出z为等式(3)....
DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention
最新发布
AI浩
10-14 915
带有各种注意力模块的视觉Transformer在视觉任务上已表现出卓越的性能。虽然使用稀疏自适应注意力（如在DAT中）在图像分类任务中取得了显著成果，但在对语义分割任务进行微调时，由可变形点选择的关键值对缺乏语义相关性。BiFormer中的查询感知稀疏注意力旨在使每个查询关注前kkk个路由区域。然而，在注意力计算过程中，所选的关键值对受到过多不相关查询的影响，从而降低了对更重要查询的关注度。
[Transformer] DAT: Vision Transformer with Deformable Attention
Cherry的笔记本
01-14 3179
论文： https://arxiv.org/abs/2201.00520 代码： https://github.com/LeapLabTHU/DAT 2022年1月 1 简介 与CNN模型相比，基于Transformer的模型具有更大的感受野，擅长于建模长期依赖关系，在大量训练数据和模型参数的情况下取得了优异的性能。但是，计算成本较高，收敛速度较慢，过拟合的风险增加。 为了降低计算复杂度， Swin Transformer采用基于Window的局部注意力来限制Local Window中的注意
Vision Transformer with Deformable Attention
weixin_42714574的博客
01-18 6666
DAT title: Vision Transformer with Deformable Attention 论文：https://arxiv.org/abs/2201.00520 代码：https://github.com/LeapLabTHU/DAT Introduction ​ 在ViT中使用密集的注意力会导致内存和计算成本过高，特征会受到超出兴趣区域的不相关部分的影响。另一方面，在PVT或Swin Transformer 中采用的稀疏注意里力是数据不可知的，可能会限制建模长期关系的能力。 ​
Vision Transformer | CVPR 2022 - Vision Transformer with Deformable Attention
画心
06-03 1739
Deformable Attention被提出来针对Attention操作引入数据依赖的稀疏注意力
DAT：Vision Transformer with Deformable Attention
qq_45122568的博客
06-30 1614
这篇文章是相对于Swin-Transformer和PVT进行改进，加入了可变形机制，同时控制网络不增加太多的计算量，作者认为，缩小q对应的k的范围，能够减少无关信息的干扰，增强信息的捕捉，于是引入了到注意力模块中，提出了一种新的注意力模块：可变形多头注意力模块——对k和v进行DCN偏移后再计算注意力。将这个模块替换到Swin-Transformer的第三四阶段的滑动窗口注意力部分，获得了较好的实验性能。原文链接：Vision Transformer with Deformable Attention 源码地
【YOLOv8改进[注意力]】YOLOv8添加DAT(Vision Transformer with Deformable Attention)助力涨点
静谧、淡雅
04-22 2103
YOLOv8添加DAT注意力机制(Vision Transformer with Deformable Attention)助力涨点
（二十一）详细讲解：基于深度记忆网络的方面级情感分类
Wangzx的博客
05-12 7375
文献阅读（二十一）讲解论文导读及任务背景：泛读：论文总览及模型结构：论文精读：论文算法模型总览论文算法模型的细节1——向量转换、计算层论文算法模型的细节2——注意力实验设置及结果分析实验分析：相关工作论文总结：代码实现分析： 学习目标： 论文导读及任务背景： 传统的情感分析（SA）主要是面向文档或者句子，也就是文档层面的情感分类（document-level sentiment classification），这种粗粒度的分类只考虑文档整体的情感倾向性（sentiment polarity），在现实应
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3090
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
（三十）：基于交互注意力机制的多模态情感识别算法_姚懿秦
Wangzx的博客
08-17 1968
（三十）：Sentiment analysis in textual, visual and multimodal inputs using recurrent neural networks一级目录二级目录三级目录 一级目录 二级目录 三级目录
（十八）：基于图文融合的情感分析研究综述
Wangzx的博客
05-09 1952
文献阅读（十八）：基于图文融合的情感分析研究综述1 图文情感分析数据库2 文本及图片的情感分析2.1 文本情感分析2.2 图片情感分析3 图文特征融合3.1 特征层融合（Baseline）4 总结与展望 主要内容：包含情感分析数据库；融合的Baseline参考文献；挑战：将两个模态信息互相补充、互为印证，进而建立更完善的图文融合情感分析模型。研究图片与文本二者的相关性与异性，提升情感分析的准确率。 1 图文情感分析数据库 1.1 Flickr 数据集 1.2 VCGI及 VCGII数据集 1.3 MVS
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis
Wangzx的博客
07-29 1902
（四十）：多模态经典Baseline之Tensor Fusion Network for Multimodal Sentiment Analysis摘要1 Introduction2 Related Work3 CMU-MOSI Dataset4 Tensor Fusion Network4.1 Modality Embedding Subnetworks模态嵌入子网络Spoken Language Embedding Subnetwork语音嵌入子网:Visual Embedding Subnetwork
（三）：基于深度学习的文本分类综述
Wangzx的博客
03-18 1859
文献阅读（三）：Deep Learning Based Text Classification A Comprehensive ReviewAbstract1 INTRODUCTION1.1 Text Classification Tasks1.2 Paper Structure2 DEEP LEARNING MODELS FOR TEXT CLASSIFICATION用于文本分类的深度学习模型2.1 Feed-Forward Neural Networks前馈神经网络2.2 RNN-Based Model
（十一）：多模态深度学习综述
Wangzx的博客
04-20 1859
文献阅读（十）：多模态深度学习综述摘要引言1. 模态表示1.1 单模态表示（语句模态表示、视觉模态表示）2. 模态传译3. 模态融合4. 模态对齐4.1 注意力对齐4.2 语义对齐5. 实际多模态系统——应用6. 国内外多模态深度学习公用数据集7. 多模态深度学习的发展方向8. 结束语 摘要 多模态深度学习实现过程中的共有问题分为： 模态表示、模态传译、模态融合和模态对齐四类，并对各类问题进行子分类和论述，同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集
（五十二）：多模态情感分析研究综述_张亚洲
Wangzx的博客
09-24 1599
（五十二）多模态情感分析研究综述_张亚洲Abstract1 叙述式多模态情感分析1. 1 静态多模态情感分析（文本与图像划分为静态文档）1. 1. 1 基于机器学习的方法1. 1. 2 基于深度学习的方法1. 2 动态多模态情感分析（音频与视频划分为动态文档）1. 2. 1 基于机器学习的方法1. 2. 2 基于深度学习的方法2 交互式多模态情感分析2. 1 多模态会话情感数据集2. 2 多模态会话情感分析模型3 多模态情感分析存在的交互建模科学问题3.1 模态内的词项交互问题3. 2 模态间的多模态交互问
（二十七）：CH-SIMS:基于情态细粒度注释的中文多模态情感分析数据集
Wangzx的博客
06-01 1598
文献阅读（二十七）：CH-SIMS:基于情态细粒度注释的中文多情态情感分析数据集Abstract1 Introduction2 Related Work2.1 Multimodal Datasets2.2 Multimodal Sentiment Analysis2.3 Multi-task Learning3 CH-SIMS Dataset3.1 Data Collection3.2 Annotation3.3 Extracted Features4 Multimodal Multi-task Learn
（二十六）：Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multim
Wangzx的博客
05-30 1544
文献阅读（二十六）：Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment AnalysisAbstract1 Introduction2 Related Work2.1 Multimodal Sentiment Analysis2.2 Transformer and BERT2.3 Multi-task Learning3 Methodology
Deformable attention的研究意义
08-05
### 回答1： Deformable Attention是一种基于注意力机制的模型，它可以自适应地调整注意力区域的形状和大小，以更好地适应复杂的图像场景。它的研究意义在于，它可以提高计算机视觉领域的一些任务的性能，例如目标检测和语义分割等任务。它可以更好地处理遮挡、形变和尺度变化等问题，从而提高模型的准确性和鲁棒性。此外，Deformable Attention的研究还有助于推动人工智能技术的发展和应用。 ### 回答2： Deformable attention是一种新型的注意力机制，它在计算机视觉和自然语言处理领域具有重要的研究意义。 首先，传统的注意力机制在处理图像或文本时存在一定的局限性。图像中的物体可能存在形状和尺寸变化，文本中的单词可能有不同的语义重要性。而Deformable attention能够在处理这些变化时更加灵活和准确。它可以根据输入的具体情况自适应地调整注意力的分配，从而更好地适应复杂的场景和变化。 其次，Deformable attention还能够提高模型的表达能力和性能。通过引入自适应的形变机制，Deformable attention可以准确地捕捉图像和文本中的细节信息，从而提高模型对目标的感知能力。这对于识别和分类任务非常关键。同时，Deformable attention还能解决传统注意力机制由于重叠区域的固定性而导致的模糊问题，提高模型的准确性和鲁棒性。 此外，Deformable attention还有助于提高模型的可解释性和可视化能力。传统的注意力机制通常只能给出模型对输入的关注程度，Deformable attention则可以通过形变机制更加精细地指示模型对输入的敏感区域。这使得我们能够更好地理解模型的决策过程和结果，从而增强模型的可解释性。 总之，Deformable attention的研究意义在于提高模型对变化和细节的感知能力，改善模型的表达能力和性能，并增强模型的可解释性和可视化能力。它为计算机视觉和自然语言处理领域的相关任务提供了一种更加灵活、准确和强大的注意力机制。 ### 回答3： Deformable attention（可变形注意力）是一种新型的注意力机制，它对于计算机视觉和自然语言处理等领域的研究具有重要的意义。 首先，传统的注意力机制在处理图片或文本时面临一些挑战。例如，在图片中，某些部分可能有更高的重要性，但注意力机制往往只能关注固定的区域。而可变形注意力克服了这一限制，可以根据图像的不同区域自适应地分配注意力，从而更准确地提取图像的关键信息。 其次，可变形注意力在自然语言处理中也具有重要应用。在机器翻译任务中，传统的注意力机制只关注源语言和目标语言的对应位置，无法处理长距离依赖关系。而可变形注意力可以根据句子的结构自适应地调整位置的关联程度，从而更好地捕捉句子之间的语义关系，提高翻译的准确性。 此外，可变形注意力还可以用于目标检测、人脸识别、视频分析等领域。在目标检测中，传统的注意力机制可能漏掉目标的细节或难以捕捉到目标的变化。可变形注意力可以根据目标的不同形状和大小自适应地调整感受野的大小和位置，提高目标检测的精确度。在人脸识别中，可变形注意力可以根据人脸的不同部位关注度分配，有效提高人脸识别的准确性。在视频分析中，可变形注意力可以自适应地关注视频中的重要动作或变化，提高视频内容的理解和分析能力。 综上所述，Deformable attention的研究意义在于通过自适应地分配注意力来提高计算机对图像和文本的处理能力，在计算机视觉和自然语言处理等领域具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值