CVPR| 2021 Video Swin Transformer阅读笔记

已于 2022-03-22 20:04:25 修改
阅读量2.3k 收藏 4
点赞数
文章标签： transformer 计算机视觉
于 2022-03-22 19:56:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59340037/article/details/123635235
版权

Video Swin Transformer 阅读笔记
论文
代码
研究背景
在计算机视觉领域，模型正在从CNN 向Transformer转变，并且纯transformer架构在主要的视频识别方向获得了最高的精度，这些模型建立在能够在时间和空间维度上将patches全局连接起来的transformer层上。CNN向transformer的转变开始于vision transformer(ViT),它通过 transformer encoder对非重叠的图像快的空间关系进行全局建模，由于在图像上取得的巨大成功，使得开始了对于基于transformer的视频识别任务的研究。
之前的对于视频主干结构就是将用于图像的主干结构扩展到时间轴即可，如C3D，对于时间和空间联合建模，但这种方法既不经济也不容易优化，因此提出了一种对时空域进行分解的方法，该方法在速度和精度上有所折中。并且最初将transformer用于视频识别是，也采用过分解的方法，通过分解编码器或者分解自注意力，这种方法能够极大的减小模型的规模，同时不会大幅降低模型的性能。
研究目的
在本文中，我们提出了一种用于视频识别的纯transformer骨干结构,并且在效率上超过分解模型，该方法利用了视频的固有时空局部性，时空距离越接近的像素越有可能被关联，
在本文中我们在视频transformer中引入局部归纳偏执，与之前的方法相比，该方法在速度和精度上具有更好的权衡，通过时空分解&#x

最低0.47元/天 解锁文章
ycolourful
关注
CVPR2021-Transformer-and-Low-level-Vision
04-09
带有代码的论文--- [ ] 带有代码的纸--- [ ] 变压变压器 预培训图像处理变压器，[]，[] 注意力可视化之外的变压器可解释性，[]，[] 生成对抗式变压器，[]，[] 变压器中的变压器，[]，[] 带有变压器的端到端视频...
[论文记录] 2021 - Video Swin Transformer
weixin_43862112的博客
11-17 685
[论文记录] 2021 - ArtEmis: Affective Language for Visual Art论文简介论文内容摘要1 介绍（1）为什么关注于视觉艺术（visual art）？（2）ArtEmis数据集的创新点（3）观者反应的主观性（4）情感解释的难点（5）情感语音机器人 论文简介 原论文：ArtEmis: Affective Language for Visual Art1 视觉艺术中的情感语言 论文地址：https://arxiv.org/abs/2101.07396 以下仅为作者阅读
【视频理解】2022-CVPR-Video Swin Transformer
weixin_42475026的博客
03-28 4474
视觉领域正在见证从 CNN 到 Transformers 的建模转变，纯 Transformer 架构在主要视频识别基准测试中达到了最高准确度。这些视频模型都建立在 Transformer 层之上，Transformer 层在空间和时间维度上全局连接块。在本文中，我们提倡视频 Transformer 中的局部归纳偏差，与以前的方法相比，即使使用时空分解，也可以在全局范围内计算自注意力，从而实现更好的速度-精度权衡。所提出的视频架构的局部性是通过调整为图像域设计的 Swin Transformer 实现的。
视频斯威夫特变换器 (Video Swin Transformer) 官方教程
最新发布
gitblog_00550的博客
08-09 666
视频斯威夫特变换器 (Video Swin Transformer) 官方教程 Video-Swin-Transformer项目地址:https://gitcode.com/gh_mirrors/vi/Video-Swin-Transformer 1. 项目介绍 Video Swin Transformer 是由作者Ze Liu等人提出的一种新的视频理解模型，它基于图像领域的Swin Trans...
video-swin-transfomer代码讲解
rocking_struggling的博客
03-16 1228
原文链接：https://blog.csdn.net/ly59782/article/details/120823052 Swin-Transformer和Video Swin-Transformer大同小异，感觉最大的区别就是2D的改到了3D，其实操作都是一样的，就是多了一个维度，所以主要还是基于2d讲解的，然后类比一下3d就好啦，讲的是tiny版本的。 源码git传送门：https://github.com/SwinTransformer/Video-Swin-Transformer 目录 类定义
【算法详解】Swin Transformer&Video Swin Transformer图像领域和视频邻域的Transformer based模型结构解读
weixin_60734652的博客
09-13 925
针对这个问题，文章中提出一种掩码机制，根据窗口内patch来自原数据位置的不同，将不应该计算注意力的位置的计算结果通过加上一个负的较大数来mask掉（如重新划分后左下角的窗口中，来自原图像底部的某个灰色表示的patch和移位过来的属于C部分的某个绿色表示的patch的计算结果），使其在计算Softmax时不起作用。Swin Transformer Block（以下简称block）每两个为一组，其中每个block都有与Transformer中的Transformer Block类似的结构。
论文阅读【Video Swin Transformer】
hei_hei_hei_的博客
05-18 663
Video Swin Transformer 发表：ICCV 2021 idea：使用image recognition任务中提出的Swin Transformer来解决video recognition任务。至于Swin Transformer，请看上一篇文章 代码：Video-Swin-Transformer 详细设计 Video Swin Transformer，严格遵循原始Swin Transformer的层次结构，但将局部注意力计算的范围从仅空间域扩展到了时空域。由于局部注意力是在非重叠窗口上
Video Transformer
afadgas的博客
04-25 649
动作识别
CVPR 2021 论文和开源代码合集.docx
05-28
《CVPR 2021 论文和开源代码合集》是计算机视觉领域的一份重要资源，汇聚了当年CVPR会议的顶尖研究成果及其对应的开源实现。CVPR（Conference on Computer Vision and Pattern Recognition）作为全球最权威的计算机...
cvpr2021AuthorKit_2.zip
12-07
cvpr2021模板，包括latex、word版本，模板使用bib生成参考文献，包含所需的包\documentclass[review]{cvpr} %\documentclass[final]{cvpr} \usepackage{times} \usepackage{epsfig} \usepackage{graphicx} \...
cvpr2021 word模板
05-20
【CVPR2021 Word模板】是计算机视觉领域顶级会议——Computer Vision and Pattern Recognition (CVPR) 2021年的官方论文提交模板。这个模板为作者提供了一个规范的框架，以确保提交的论文符合会议的格式要求，从而...
cvpr2021_GAN_总结.docx
11-13
2021年的CVPR也不例外，尤其在生成对抗网络（Generative Adversarial Networks，简称GANs）方面，有多篇论文展示了在该领域的创新和进展。GANs是一种强大的深度学习模型，能够生成逼真的图像，被广泛应用于图像合成...
【论文阅读】Swin-transformer网络结构详解
aixiaomi123的博客
01-19 2234
Swin-transformer 网络架构详解
Swin Transformer：Hierarchical Vision Transformer using Shifted Windows——论文分析
gongyuandaye的博客
07-15 545
挑战物体尺寸差异和高分辨率Transformer可以用作一个通用的网络，而不像ViT那样只用于分类。如上图，ViT全局建模，始终处理的是16倍下采样之后的特征，不适合密集预测型任务。SwinTransformer为了减少序列长度，在小窗口内做自注意力，用了locality的归纳偏置，节省资源。patchmerging，相邻小patch合成大patch，类似池化。如上图，在l层加上shift操作，窗口之间能进行交互，从而有全局自注意力的效果。......
论文阅读 - Video Swin Transformer
热门推荐
zjuPeco的博客
02-14 1万+
video swin transformer解读
视频分类Video-Swin-Transformer
TF666666的博客
06-29 4653
Video-Swin-Transformer
[Video Transformer] Video Swin Transformer
Cherry的笔记本
01-18 8321
代码： GitHub - SwinTransformer/Video-Swin-Transformer: This is an official implementation for "Video Swin Transformers". 论文： https://arxiv.org/pdf/2106.13230.pdf 代码解读： Swin-Transformer代码讲解-Video Swin-Transformer_ly59782的博客-CSDN博客 Swin Transformer ht...
【Paper Note】Video Swin Transformer
m0_51371693的博客
04-19 639
Video Swin Transformer论文笔记
探索未来视觉处理：Video Swin Transformer
gitblog_00051的博客
03-26 444
探索未来视觉处理：Video Swin Transformer Video-Swin-Transformer项目地址:https://gitcode.com/gh_mirrors/vi/Video-Swin-Transformer 在人工智能领域，计算机视觉的进步不断推动着新技术的应用。Video Swin Transformer 是一个由SwinTransformer团队开发的创新性项目，它将...
Swin Transformer优点
06-25
Swin Transformer是一种基于Transformer架构的...5. **在图像下游任务中的性能**：在ImageNet、CVPR等视觉基准上，Swin Transformer展现了优秀的性能，并在多个挑战赛中取得领先，证明了其在多个视觉任务上的有效性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值