NeurIPS 2021 放榜！Transformer或成最大赢家！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

前言

NeurIPS 2021 刚刚公布接收结果！先恭喜各位论文被收录的同学，文末附NeurIPS 2021接收群，中稿的同学可以加入，方便交流开会信息。

NeurIPS 2021 共提交了9122篇论文，最终接收率是26%（根据推断，应该收录有2371左右篇论文）。

Transformer或成最大赢家

这里重点强调一下Transformer的"分量"。NeurIPS 2021是AI大类顶会，包含了NLP、CV、ML等大类领域。对于NLP而言，Transformer无疑统治了大大大半壁江山；而对于CV而言，从2020下半年开始，特别是2021上半年，Visual Transformer的研究热点达到了前所未有的高峰。再次强调引爆CV圈 Transformer热潮的两篇最具代表性论文，即ECCV 2020的DETR（目标检测）和 ICLR 2021的ViT（图像分类）。

Transformer持续统治NLP，逐渐出圈染指CV。后者在arXiv上体现的淋漓尽致，到了CVPR 2021上得以证明：最新！CVPR 2021 视觉Transformer论文大盘点（43篇）

据Amusi了解，ICCV 2021上视觉Transformer的相关工作应该有70篇+，而根据当前社群反映情况，光今天刚放榜已知的NeurIPS 2021 视觉Transformer都已经至少30篇+了。

所以Transformer在NeurIPS 2021上一定是举足轻重般的存在，称为最大赢家也不为过。额外说几句，自监督/无监督相关的工作也是非常之多。

Amusi 第一时间整理了 9篇 NeurIPS 2021上的视觉Transformer论文，而且大多数都是已经在CVer上第一时间报道过的~

NeurIPS 2021 视觉Transformer的部分论文

1. SegFormer：简单有效Transformer的语义分割新思路

SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers

论文: https://arxiv.org/abs/2105.15203
代码：https://github.com/NVlabs/SegFormer

论文解读：港大&NVIDIA提出SegFormer：简单有效Transformer的语义分割新思路

2. MaskFormer：语义分割是像素分类问题吗？

Per-Pixel Classification is Not All You Need for Semantic Segmentation

论文: https://arxiv.org/abs/2107.06278

代码链接：

https://github.com/facebookresearch/MaskFormer

论文解读：屠榜语义分割和全景分割！FAIR提出MaskFormer：语义分割是像素分类问题吗？

3. Twins：更高效的视觉Transformer主干网，完美适配下游检测、分割任务

Twins: Revisiting the Design of Spatial Attention in Vision Transformers

论文：http://arxiv.org/abs/2104.13840

代码：https://github.com/Meituan-AutoML/Twins

论文解读：重磅开源！Twins：更高效的视觉Transformer主干网，完美适配下游检测、分割任务

4. TransGAN：用纯Transformer构建高分辨率GAN

TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up

论文：https://arxiv.org/abs/2102.07074

代码：https://github.com/VITA-Group/TransGAN

论文解读：超越StyleGAN！TransGAN更新！用纯Transformer构建高分辨率GAN

5. 视觉Transformer的增强Shortcuts

Augmented Shortcuts for Vision Transformers

论文：https://arxiv.org/abs/2106.15941

6. 视觉Transformer的训练后量化

Post-Training Quantization for Vision Transformer

论文：https://arxiv.org/abs/2106.14156

7. TNT：Transformer in Transformer

论文：https://arxiv.org/abs/2103.00112

论文解读：

https://zhuanlan.zhihu.com/p/354147534

8. 所有图像都值16x16个词吗？可变序列长度的动态Transformer来了

Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length

论文：https://arxiv.org/abs/2105.15075

论文解读：

https://zhuanlan.zhihu.com/p/377961269

9. YOLOS：基于视觉Transformer的目标检测

You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection

论文：https://arxiv.org/abs/2106.00666

代码：https://github.com/hustvl/YOLOS

论文解读：致敬YOLO！华科提出YOLOS：基于视觉Transformer的目标检测

NeurIPS 2021收录交流群

欢迎已经中稿的同学加入交流群，方便交流开会事宜；另外如果你想报道你的论文工作，也可以跟小助手联系。

注：已经在CVer的NeurIPS 2021投稿群的同学不必重复进群，投稿群现在也就是收录群，已合并处理。

【加群方式】添加小助手微信：CVer111，加群备注：NIPS中稿+公司/学习+昵称。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF

重磅！Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看