计算机视觉中的Transformer

序

自从2017年Attention Is All You Need论文，Transformer热度持续升高，因为其解决的是"seqence to sequence"属性的问题，所以先是在自然语言处理中席卷各类问题，其代表性工作为BERT。BERT截至今天在Github已有27.2k⭐，火的我没词了…

就好比约5年前，循环神经网络（RNN）先火遍NLP，随后又入侵CV。现在，Transformer也是在席卷了NLP的各类问题后，正在席卷CV的各类问题。前几天连GANsformer都出来了（这名字起的…读起来就很带劲哈😅）。

本文旨在捋一捋截至目前（2021年3月7日）计算机视觉中的Transformer有代表性的几条研究成果路线，全部是开源了的论文。

综述

分类

20201224-A Survey on Visual Transformer

这篇早一点，主要是整理了一些计算机视觉中Transformer的原理上的问题。

20210104-Transformers in Vision: A Survey

这篇应该是最新的一篇综述吧。它完善而细致地收集了很多研究成果（含200条引用）；通读可以基本把握这方向的状态；