【BoTNet】Bottleneck Transformers for Visual Recognition 笔记

最新推荐文章于 2022-06-27 21:13:36 发布
最新推荐文章于 2022-06-27 21:13:36 发布
阅读量2.5k 收藏 2
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/salari/article/details/123278557
版权

Bottleneck Transformers for Visual Recognition

摘要

BoTNet是backbone，由自注意力机制组成

在Resnet最后三个bottleneck中用全局self-attention替代卷积

在COCO数据集上44.4%mask AP，49.7%Box AP，图像分类、实例分割、目标检测都有效

引言

在这里插入图片描述

提出的BoTNet为带有bottleneck结构的transformer块

在视觉领域使用self-attention有两个问题：1，图片太大 怎么输进去；2，存储与计算太大，训练负担大

想到的方法：

  • 使用卷积提取低分辨率特征图；
  • 在特征图上用self-attention

只在Resnet最后三个bottleneck中用全局self-attention替代卷积

结论

表达了未来展望，如在大的数据集上使用

相关工作

本章将BoTNet对比了transformer、DETR、Non-Local

  • transformer

    transformer采用layer noramlizaiton，BoT块采用Batch Normalization

    transformer在FFN中用了一个非线性，BoT用了3个

    transfomer中MHSA块对输出做了投影，BoT没有

  • DETR

    DETR在backbone外用了transformer，

    BoTNet在小物体检测上效果较好

  • Non-Local

    Non-Local将NL块插入到Resnet最后两个块组，BoT融合了self-attention和卷积

方法

在这里插入图片描述

将Resnet最后3个3X3卷积替代成MHSA

用2D相关位置编码

实验

原文做了相当多实验

例：在COCO数据集采用mask RCNN实现实例分割

在这里插入图片描述

zhy—bupt
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
BottleneckTransformers:视觉识别的瓶颈变压器
03-06
视觉识别的瓶颈变压器 实验 模型 参数（M） 累积（％） ResNet50基线（） 23.5百万 93.62 BoTNet-50 1880万 95.11％ BoTNet-S1-50 1880万 95.67％ 僵尸网络-S1-59 2750万 95.98％ BoTNet-S1-77 4490万 ip 概括 用法（示例） 模型 from model import Model model = ResNet50 ( num_classes = 1000 , resolution = ( 224 , 224 )) x = torch . randn ([ 2 , 3 , 224 , 224 ]) print ( model ( x ). size ()) 模块 from model import MHSA resolution = 14 mhsa = MHSA ( plan
Bottleneck Transformers for Visual Recognition
qq_52302919的博客
04-28 2212
本文介绍了BoTNet，这是一个概念简单但功能强大的主干架构，它将自注意力整合到多个计算机视觉任务中，包括图像分类、对象检测和实例分割。通过在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不做其他更改，本方法在实例分割和对象检测方面显著改进了基线，同时也减少了参数，延迟开销最小。作者还指出了如何将自注意力的ResNet瓶颈块视为转换器块。在没有任何提示的情况下，最后，作者还提出了一种简单的BoTNet网络图像分类设计。
[Transformer]BoTNet：Bottleneck Transformers for Visual Recognition
qq_37151108的博客
12-23 2472
BoTNet：Bottleneck Transformers for Visual RecognitionAbstractSection ISection II Related WorkSection III MethodSection IV ExperimentsPart 1 Instance SegmentationPart 2 Relative Position EncodingPart 3 BoTNet scales well with larger imagesPart 4 Image Clas
【Transformer】Bottleneck Transformers for Visual Recognition
qq_40731332的博客
03-01 1396
摘要 本文提出一种backbone：BoTNet，整合self-attention适用于多种视觉任务，包括图片分类、目标检测和实例分割的网络。 BoTNet将ResNet最后三个bottleneck blocks的空间卷积替换为global self-attention。 在减少参数量的同时，提高了在目标检测和实例分割上的性能。使用Mask R-CNN框架的BoTNet，在COCO实例分割数据集上，达到了44.4% Mask AP和49.7%Box AP，超过了ResNeSt。将BoTNet用于图..
深度网络架构的设计技巧(二)之BoT：Bottleneck Transformers for Visual Recognition
wqthaha的专栏
06-27 1223
Transformer一词来自本文作者之一的Ashish Vaswani，相信了解Transformer的人，都知道Original Transformer=Vaswani Transformer。ViT刚出来那会儿，简直引爆学术圈，各大CNN任务用Transformer翻一遍，就能达到SOTA，虽然现在是Transformer+自监督学习的天下。本文，向经典致敬，向大佬学习如何设计有效的深度网络，即在ResNet BottleNeck内如何引入多头注意力。.........
DripSource_botnet_
10-04
【标题】"DripSource_botnet_" 指涉的主题是关于DripSource僵尸网络的扫描工具或活动。僵尸网络，通常称为“botnet”，是由被恶意软件感染的计算机网络组成，这些计算机受控于远程攻击者，用于执行各种非法活动，如...
Mirai_ResearchAnalytics_botnet_
10-01
描述中提到的“Mirai botnet IoT botnet uploaded for research and code analytics”，表明了此文件可能是Mirai恶意软件的样本或相关代码，用于学术研究和代码分析。这种研究至关重要，因为通过深入理解恶意软件的...
BoTNet人脸识别.rar
02-22
BoTNet用于人脸识别的Pytorch版本。可参考：https://blog.csdn.net/Bixiwen_liu/article/details/113951973?spm=1001.2014.3001.5501
＜＜视觉Transformer＞＞2021：Bottleneck Transformers for Visual Recognition
金克丝的博客
12-28 2593
本专栏只研究vision Transformer的原理，对实验不做过多研究。 目录 摘要： 一、介绍 二、相关工作 三、方法 四、实验 五、结论 摘要： 我们提出了BoTNet，这是一个概念简单但功能强大的主干架构，它将自注意结合到多个计算机视觉任务中，包括图像分类、目标检测和实例分割。通过在ResNet的最后三个bottleneck blocks中使用全局自注意替换空间卷积，并且不做其他改变，我们的方法在实例分割和对象检测方面显著改善了基线，同时减少了参数。通过Bo...
BottleneckTransformers-main.zip
04-23
Bottleneck Transformers for Visual Recognition，在ImageNet上高达84.7％的top-1精度，性能优于SENet、EfficientNet等，将其应用于目标检测、实例分割等下游任务，涨点显著！
CVPR 2021 更好的Backbone，伯克利&谷歌提出BoTNet，精度达84.7%
jacke121的专栏
10-09 2060
本篇分享论文『Bottleneck Transformers for Visual Recognition』，由 UC Berkeley & Google Research(Transformer一作团队)联合提出BoTNet，ImageNet上精度达84.7%。 详细信息如下： 论文链接：https://arxiv.org/abs/2101.11605 项目链接：https://github.com/lucidrains/bottleneck-transfor..
轻量级网络：Bottleneck结构（沙漏型结构）
热门推荐
那年聪聪
02-16 2万+
Bottleneck结构为之后的深度可分离卷积Depthwise Separable Conv打下了坚实的基础。
【注意力机制】BAM: Bottleneck Attention Module论文理解
qq_36926037的博客
06-14 1万+
摘要   深度神经网络的最新进展是通过架构搜索来获得更强的表征能力。   瓶颈注意模块(BAM)：   本研究关注深度神经网络中注意力机制的影响，提出了一个简单而有效的注意力模块，即瓶颈注意模块(BAM)，可以与任何前馈卷积神经网络集成，沿着两个不同的路径（通道和空间）推断注意力映射。 将模块放在模型的每个瓶颈处（特征映射产生降采样），构建一个具有多个参数的分层注意，可以与任何前馈模型以端到端方式进行训练。   实验结果：   在CIFAR-100、ImageNet-1K、VOC 2007和MS COCO基
【解析】BoTNet：Bottleneck Transformers for Visual Recognition
绿色羽毛
10-24 653
论文：https://arxiv.org/abs/2101.11605 代码：https://github.com/mlpc-ucsd/CoaT 本文将介绍的是视觉Transformer的新backbone，之前有代表性的Transformer主干网络有： ViT：用Transformer完全替代CNN 媲美CNN！Facebook提出DeiT：高效图像Transformer，在ImageNet上达84.4%准确率！ 现在有非常多的工作就是基于ViT魔改，Amusi 觉得本文分享的BoTNet 应该能助燃.
论文解析|Bottleneck Transformers for Visual Recognition
Akita·Wang's Semantic Segmentation
03-26 2285
先回顾一下用于视觉识别的自注意力方法，比如SANet、ViT、DETR等： 本文将介绍的是视觉Transformer的新backbone，之前有代表性的Transformer主干网络有： ViT：用Transformer完全替代CNN 媲美CNN！Facebook提出DeiT：高效图像Transformer，在ImageNet上达84.4%准确率！ 现在有非常多的工作就是基于ViT魔改，Amusi 觉得本文分享的BoTNet 应该能助燃视觉Transformer ...
Bottleneck Transformers for Visual Recognition阅读笔记
Malidong的博客
04-13 1033
2021 Aravind Srinivas, Tsung-Yi Lin, Niki Parmar, Jonathon Shlens, Pieter Abbeel, Ashish Vaswani https://arxiv.org/abs/2101.11605 一、简介 提出了BoTNet，它结合了多个计算机视觉任务（包括图像分类、对象检测和实例分割）的self-attention。通过在ResNet的最后三个bottleneck blocks中使用global self-attention来代替空间卷积。
[BoT Net] Bottleneck Transformers for Visual Recognition
Ah丶Weii
03-25 459
1. Motivation ​ 作者认为虽然堆叠更多层可以改善backbone的性能，但是隐式的结果来建模全局依赖（global dependencies），而不需要太多层，可以成为一种powerful和scalable的方案。 Although stacking more layers indeed improves the performance of these backbones [72], an explicit mechanism to model global (non-local) de.
bottleneck transformer(botnet)
最新发布
09-14
Bottleneck Transformer（BoTNet）是一种融合了卷积神经网络（CNN）和自注意力机制（Self-Attention）的网络结构。它在Multi-Head Self-Attention结构前后加上1×1卷积，与ViT中的Transformer block有一定的相似性。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值