【论文阅读】Swin Transformer V2: Scaling Up Capacity and Resolution

已于 2022-03-08 15:12:41 修改
阅读量4.2k 收藏 1
点赞数
分类专栏： 论文阅读 文章标签： 知识点 概率论 python
于 2022-03-08 15:06:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43859829/article/details/123353340
版权
本文介绍了Swin Transformer V2的改进，包括解决大型视觉模型训练不稳定性问题的post norm和缩放余弦注意技术，以及提高高分辨率输入处理效率的对数间隔连续位置偏差。此外，还讨论了如何通过zero optimizer、activation check pointing等方法降低GPU显存消耗。
摘要由CSDN通过智能技术生成

题目：Swin Transformer V2: Scaling Up Capacity and Resolution

motivation:作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。作者要做大做强。

method:
在这里插入图片描述

首先，对大型视觉模型的实验揭示了训练中的不稳定性问题。

  • 作者发现，在大型模型中，各层之间的激活幅度差异显著增大。仔细观察结构可以发现，这是由直接添加回主分支的残差单元的输出引起的。结果是激活值逐层累积，因此深层的振幅明显大于早期层的振幅。为了解决这个问题，作者提出了一种新的归一化配置，称为post norm，它将LN层从每个残差单元的开始移动到后端.

  • 作者发现，这种新的配置在网络层上产生了更温和的激活值。作者还提出了一种**缩放余弦注意（scaled cosine attention）**来取代以前的点积注意（dot product attention） 。缩放余弦注意使得计算与块输入的振幅无关，并且注意值不太可能陷入极端。在本文的实验中，提出的两种技术不仅使训练过程更加稳定，而且提高了精度，特别是对于较大的模型。
    在这里插入图片描述
    其次，

最低0.47元/天 解锁文章
一碗白开水一
关注
专栏目录
Swin Transformer V2
myh12138的博客
11-23 3657
Swin Transformer V2 论文链接：https://arxiv.org/pdf/2111.09833.pdf 代码链接：https://github.com/microsoft/Swin-Transformer 问题： 作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。在很多方面达到了SOTA。 目前，视觉模型尚未像NLP语言模型那样被广泛探索，部分原因是训练和应用中的以下差异: 1） 视觉模型通常在规模上面临不稳
[Transformer] Swin Transformer V2: Scaling Up Capacity and Resolution
Cherry的笔记本
01-18 2653
论文： 代码： 1 Introduction 在Swin Transformer的基础上，提出了以下的改进措施： 1）post normalization technique and scaled cosine attention提升大型视觉模型的稳定性; 2）log-spaced continuous position bias 进行低分辨率预训练模型向高分辨率模型迁移。 3）implementation details 大幅节省GPU显存占用以使得大视觉模型训练变得可行。 ...
论文精读:Swin Transformer V2: Scaling Up Capacity and Resolution
qq_52053775的博客
11-09 1473
论文地址:https://arxiv.org/pdf/2111.09883.pdf 代码地址: GitHub - microsoft/Swin-Transformer: This is an official implementation for "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows". 本篇论文主要致力于解决大型视觉模型的训练和应用中的三个主要问题，包括训练的不稳定性、训练前和微调之间
Swin Transformer V2: Scaling Up Capacity and Resolution
dawnyi_yang的博客
05-17 1204
摘要 在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大容量和分辨率，Swin Transformer在四个具有代表性的视觉基准上创造了新的记录：ImageNet-V2图像分类的84.0%top-1 准确度，COCO目标检测上的63.1/54.4box / mask mAP ，ADE20K语义分割的59.9 mIoU ，以及Kinetics-400视频动作分类的86.8%top-1 准确度。 论文地址：Swin
Swin Transformer V2 Scaling Up Capacity and Resolution（CVPR2022）
qihshe的博客
10-22 702
大规模NLP模型已被证明可以显著提高语言任务的性能，而不会出现饱和的迹象,他们还展示了像人类一样的惊人的few-shot能力.本论文旨在探索计算机视觉中的大规模模型。我们解决了大视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的饥渴提出了三种主要技术1)残差-后范数法结合余弦注意提高训练稳定性;2)采用对数空间连续位置偏差方法，将低分辨率图像预训练的模型有效地转移到具有高分辨率输入的下游任务中3)一种自监督预训练方法SimMIM。
SWIN TRANSFORMERv2论文翻译
lay1024的博客
05-04 936
扩大语言模型取得了令人难以置信的成功。它显着提高了模型在语言任务上的性能 [19、24、49、50、52、53]，并且该模型展示了与人类相似的惊人的少镜头能力 [7]。自从拥有 3.4 亿个参数的 BERT 大型模型 [19] 以来，语言模型在几年内迅速扩大了 1000 多倍，达到 5300 亿个密集参数 [50] 和 1.6 万亿个稀疏参数 [24]。这些大型语言模型还被发现具有越来越强的小样本能力，类似于人类智能，可用于广泛的语言任务 [7]。另一方面，视觉模型的扩展一直滞后。
swin transformer改进yolov5
01-18
Swin Transformer V2是一种...- 论文标题：Swin Transformer V2: Scaling Up Capacity and Resolution - 论文地址：https://arxiv.org/pdf/2111.09883.pdf - 源代码：https://github.com/microsoft/Swin-Transformer
swin+transformer改进
09-23
引用中提到的论文标题"Swin Transformer V2: Scaling Up Capacity and Resolution"表明Swin Transformer进行了改进以提高其容量和分辨率。具体的改进包括增加了模型的深度和宽度，提高了模型的参数容量和表示能力。...
MixMAE(MixMIM):用于分层视觉变压器有效预训练的混合和掩码自编码器 论文阅读
最新发布
weixin_51657614的博客
03-24 921
以自我监督的方式利用未标记的视觉数据来学习表征是有趣但具有挑战性的。继BERT[14]在自然语言处理中，预训练MIM在学习各种下游视觉任务的视觉表示方面取得了巨大成功[4,21,44,50,51]，包括图像分类[13]、目标检测[31]、语义分割[56]、视频分类[20]和运动控制[50]。
Swin Transformer V2论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
02-18 5434
Swin v2优化内存，支持训练大分辨率
论文阅读笔记——Swin Transformer V2
weixin_52143654的博客
10-08 434
Swin Transformer V2
屠榜各大CV任务！最强骨干网络：Swin Transformer V2来了
阿木寺的博客
11-22 4157
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自丨极市平台 作者丨happy导读针对SwinV1在更大模型方面存在的几点问题，Swin transforme...
关于大家对Swin Transformer的魔改论文模型记录（只关注Swin是如何使用的）
qq_45893319的博客
03-07 1万+
A Novel Transformer based Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images（语义分割任务） Self-Supervised Learning with Swin Transformers（模型简称：MoBY，使用了对比学习） Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation（医疗图像语义分割） Re
Swin V2：向更大容量、更高分辨率的更大模型迈进
jacke121的专栏
10-08 3481
Swin V2：向更大容量、更高分辨率的更大模型迈进
论文阅读：FCB-SwinV2 Transformer for Polyp Segmentation
wwimhere的博客
03-12 1009
TB模块采用了SwinV2 Transformer作为其核心，SwinV2 Transformer通过引入“残差后归一化”（residual post normalization）和修改注意力机制来优化原始的Swin Transformer。2）组归一化顺序调整：在FCB分支的残差块（RB）中，组归一化（GN）的顺序被调整，以适应SwinV2 Transformer中的残差后归一化（residual post normalization）方法。左边为原来的RB模块，右边是本文用的RB模块。
Swin Transformer V2！MSRA原班人马提出了30亿参数版本的Swin Transformer！
我爱计算机视觉
11-20 1280
关注公众号，发现CV技术之美【写在前面】在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大...
【论文阅读】Swin transformer解读
毛毛的博客
07-16 3968
文章目录前言Abstract1. Introduction2. Related Work3. Method3.1 Overall Architecture3.2 Shifted Window based Self-Attention3.3 Architecture Variants4. 结果4.1 KITTI上的BEV目标检测5. 总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了什么结果？ Abstract Swin Transformer可以作为计算机视觉的通用主干。将
Swin Transformer全方位解读【ICCV2021马尔奖】
热门推荐
木盏
10-18 1万+
自从ViT、DETR等尝试把language模型中的王炸transformer使用到视觉领域并得到还不错的验证效果后，研究者们一直在致力于“**如何更好地将语言模型建模到视觉**”这个问题。ViT直接把图片划分patch，用对待word的方式来对待每个patch，轻松将图片建模成sentence；而DETR则需要CNN辅助提取特征，而transformer只是当一个neck。后者更像是一个过渡模式，咱们本文不做过多讨论。
swin transformer v2
07-27
Swin Transformer V2是一种升级版的Swin Transformer模型，具有更高的参数量和处理大尺寸图像的能力。通过提升模型容量和输入分辨率，Swin Transformer V2在四个代表性基准数据集上取得了新的记录。\[1\]\[3\]关于Swin Transformer V2的详细改进和应用可以在相关的论文和博文中找到更多信息。\[1\]\[2\] #### 引用[.reference_title] - *1* *3* [我对Swin Transformer V2的理解](https://blog.csdn.net/m0_58770526/article/details/126321250)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [改进YOLOv5系列：27.YOLOv5 结合 Swin Transformer V2结构，Swin Transformer V2：通向视觉大模型之路](https://blog.csdn.net/qq_38668236/article/details/126735107)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值