论文阅读：MPViT : Multi-Path Vision Transformer for Dense Prediction

已于 2022-04-27 16:58:55 修改
阅读量3.7k 收藏 21
点赞数 7
分类专栏： 论文阅读 文章标签： 深度学习
于 2022-04-25 10:22:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qingkaii/article/details/124398735
版权

最先进的ViT使用单尺度的patch embedding和单路径transformer编码器

MPViT通过重叠卷积将相同大小的特征和不同大小的patch的同时嵌入。

Ø将多尺度patch嵌入，通过重叠卷积将其拉平成为不同尺寸的token，在适当调整卷积的填充/步幅后产生具有相同序列长度的特征。

Ø然后，来自不同尺度的token被通过多条路径独立并行送到Transformer编码器中，执行全局自我关注。

Ø然后聚合生成的特征，从而在相同的特征级别上实现精细和粗略的特征表示。

由于我们的目标是探索用于密集预测的强大骨干网络，因此我们构建了一个多级体系结构。具体来说，构建了一个四阶段特征层次结构，用于生成不同尺度的特征图。

它们输出密集预测任务四个阶段中，作者在每个阶段对所提出的Multi-scale Patch Embedding(MS-PatchEmbed)和Multi-path Transformer(MP-Transformer)块进行堆叠。

由于多级体系结构具有更高分辨率的特点，因此它本质上需要更多的计算。因此，由于其线性复杂性，我们对整个模型使用了包括Factorzed Self attention的Transformer编码器。

 

 

思考：如何应用/改进 

甜橙不加冰
关注
  • 7
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BiFormer: Vision Transformer with Bi-Level Routing Attention论文
11-02
研究人员提出了一种名为BiFormer的新型视觉Transformer模型，它以动态稀疏注意力和双层路由为核心。传统的注意力机制在捕捉长距离依赖性方面表现出色，但也带来了巨大的计算和内存开销，因为需要在所有空间位置上计算令牌之间的配对交互。为了解决这个问题，之前的一些方法引入了手工设计的、与内容无关的稀疏性，如将注意力操作限制在局部窗口、轴向条纹或膨胀窗口内。与这些方法不同，该研究提出了一种全新的通过双层路由实现的动态稀疏注意力机制，以实现更灵活的计算分配并具备内容感知性。 具体而言，对于一个查询（query），首先在粗糙的区域级别上过滤掉无关的键值对，然后对剩余的候选区域（即路由区域的并集）应用细粒度的令牌对令牌的注意力计算。该研究提供了一种简单而有效的实现方式，利用稀疏性来节省计算和内存，并且仅涉及适用于GPU的稠密矩阵乘法。基于提出的双层路由注意力机制，研究人员提出了一种名为BiFormer的新型通用视觉Transformer模型。由于BiFormer能够以查询自适应的方式关注一小部分相关令牌，而不受其他无关令牌的干扰，因此在性能和计算效率方面都表现出良好的特性，尤其在密集预测
MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object
08-02
多目标跟踪+Transformer 项目链接：https://link.zhihu.com/?target=https%3A//github.com/MCG-NJU/MeMOTR 内容简介： 1）方向：多目标跟踪（Multi-Object Tracking） 2）应用：视频任务 3）背景：现有的多目标跟踪方法大多只能在相邻帧之间明确利用目标特征，缺乏对长期时间信息的建模能力。 4）方法：本文提出了一种长期记忆增强的Transformer模型（MeMOTR）用于多目标跟踪。该方法通过使用定制的记忆-注意力层注入长期记忆，使得同一目标的跟踪嵌入更加稳定和可区分。这显著提高了模型的目标关联能力。 5）结果：在DanceTrack数据集上的实验结果显示，MeMOTR在HOTA和AssA指标上分别比最先进的方法提高了7.9%和13.0%。此外，该模型在MOT17数据集上的关联性能也优于其他基于Transformer的方法，并且在BDD100K上具有良好的泛化能力。
MPViT : Multi-Path Vision Transformer for Dense Prediction
qq_52302919的博客
12-02 1931
密集的计算机视觉任务，如目标检测和分割需要有效的多尺度特征表示来检测或分类不同大小的目标或区域。虽然卷积神经网络(cnn)一直是这类任务的主要架构，但最近引入的Vision Transformer(ViTs)旨在取代它们成为骨干。与cnn类似，vit构建了一个简单的多阶段结构(即，从细到粗)，用单尺度的补丁进行多尺度表示。在本研究中，从不同于现有Vision Transformer的视角，探索了多尺度patch嵌入和多路径结构，构建了多路径Vision Transformer(MPViT)。MPViT采用重
MPVIT：Multi-Path Vision Transformer for Dense Prediction
qq_43733107的博客
08-11 388
MPVIT：Multi-Path Vision Transformer for Dense Prediction
【读论文】MPViT : Multi-Path Vision Transformer for Dense Prediction
gardenia的博客
03-23 390
MPViT论文阅读
Multiscale Vision Transformers 论文详解
like_jmo的博客
11-21 2876
我们提出了 Multiscale Vision Transformers（MViT）用于视频和图像识别。MViT 是多尺度特征层次结构和Transformer的结合。MViT 有几个通道分辨率尺度块（channel-resoluation scale stages）。从输入分辨率和小通道维度开始，这些stages扩展通道容量，同时降低空间分辨率。这创建了一个多尺度特征金字塔，早些的层在高空间分辨率下运行以模拟简单的低级视觉信息，而更深层在空间粗糙但复杂的高维特征上运行。
【论文阅读】MPViT : Multi-Path Vision Transformer for Dense Prediction
Billie使劲学的博客
06-28 1280
目录Abstract1. Introduction2. Related works3. Multi-Path Vision Transformer3.1. Architecture3.2. Multi-Scale Patch Embedding3.3. Global-to-Local Feature Interaction3.4. Model Configuration4. Experiments4.1. ImageNet Classification4.2. Object Detection and In
【深度学习】语义分割：论文阅读：(CVPR 2022) MPViT（CNN+Transformer）：用于密集预测的多路径视觉Transformer
zhe470719的博客
05-31 8991
这里写目录标题0详情1摘要2 主要工作3 网络结构3.1 Conv-stem3.2 Multi-Scale Patch Embedding3.3 Multi-path Transformer3.3.1 多路径Transformer和局部特征卷积CoaT的因素分解自注意深度可分离卷积3.3.2Global-to-Local Feature Interaction4 实验- Semantic segmentation5总结 0详情 论文：MPViT : Multi-Path Vision Transformer
MPViT : Multi-Path Vision Transformer for Dense Prediction详解
qq_52053775的博客
10-03 1263
论文地址:https://arxiv.org/pdf/2112.11010.pdf 密集的计算机视觉任务，如目标检测和分割，需要有效的多尺度特征表示，以检测或分类不同大小的物体或区域。ViTs构建了一个简单的多阶段结构（即精细到粗糙），用于使用单尺度patch的多尺度表示。而作者以不同于现有变压器的视角，探索了多尺度的patch embeding和多路径结构，构建了MPViT。MPViT通过多尺度卷积patch embeding，然后，将不同尺度的tokens通过多条路径独立地输入trans
T5: Text-To-Text Transfer Transformer-python
06-18
T5: Text-To-Text Transfer TransformerT5：Text-To-Text Transfer Transformer T5 主要用作代码，用于重现 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中的实验。 在论文...
PHP-Vars-To-Js-Transformer-For-CodeIgniter:PHP-Vars-to-Js-Transformer-For-CodeIgniter
05-18
通常，您会遇到自己想要将一些服务器端字符串/数组/集合/任何内容传递给JavaScript的情况。 传统上，这可能会有些痛苦-尤其是随着您的应用程序的增长。 这个codeIgniter库极大地简化了过程 ＃安装 ...
CVPR 2022 | 新主干！MPViT：用于密集预测的多路径视觉Transformer
阿木寺的博客
03-14 3530
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：李欣 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/47...
【CVPR2022】MPViT : Multi-Path Vision Transformer for Dense Prediction
中国海洋大学AI前沿理论组
03-23 594
论文链接：https://arxiv.org/abs/2112.11010 代码链接：https://git.io/MPViT 作者以不同于现有Transformer的视角，探索多尺度path embedding与multi-path结构，提出了Multi-path Vision Transformer(MPViT) ，技术框架如下图所示。 conv-stem 输入图像大小为：H×W×3，两层卷积：采用两个3×3的卷积，通道分别为C2/2，C2，stride为2，生成特征的大小为H/4×W/4×C2..
CVPR2022 | MPViT: Multi-Path Vision Transformer for Dense Prediction
画心
09-22 2012
本文重点探究Transformer中的multi-scale patch embedding和multi-path structure scheme的设计。
【CVPR2022】MPViT :用于密集预测的多路径视觉变换器
shenlanshenyanai的博客
03-11 4050
论文链接：https://arxiv.org/abs/2112.11010 代码链接：https: //git.io/MPViT Introduction 在这项工作中，作者以不同于现有Transformer的视角，探索多尺度path embedding与multi-path结构，提出了Multi-path Vision Transformer(MPViT)。 通过使用 overlapping convolutional patch embedding，MPViT同时嵌入相同大小的p
密集预测的视觉Transformer：Vision Transformers for Dense Prediction
梁瑛平的博客
10-15 1010
Vision Transformers for Dense Prediction论文地址：代码地址：主要工作：具体实现：Transformer encoder：Convolutional decoder：实验结果：实验结果： 论文地址： https://arxiv.org/abs/2103.13413 代码地址： https://github.com/isl-org/DPT 主要工作： 我们引入了密集的视觉Transformer，这是一种利用视觉Transformer代替卷积网络作为密集的预测任务的主干的架
详解pytorch中循环神经网络（RNN、LSTM、GRU）的维度
最新发布
NosONE
05-07 1106
首先如果你对不太熟悉，可点击查看。
hivt: hierarchical vector transformer for multi-agent motion prediction
12-11
HIVT（Hierarchical Vector Transformer for Multi-Agent Motion Prediction）是一种用于多智能体运动预测的分层向量变换器。该模型使用了向量变换器（Vector Transformer）的层级架构，用于对多智能体的运动轨迹...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值