Transformer
文章平均质量分 86
蓝鲸鱼BlueWhale
香港中文大学计算机视觉方向博士在读
展开
-
Transformer论文解读五(Swin Transformer)
本文中要介绍的Swin Transformer全名为Swin Transformer: Hierarchical Vision Transformer using Shifted Windows,是2021年微软研究院发表在ICCV上的一篇文章,在多项视觉任务中展现出优异性能。1. 改进相比于Vision Transformer(讲解),Swin Transformer做出了几点改进:层次化构建方法:使用了类似卷积神经网络中的层次化构建方法(Hierarchical feature maps),比如原创 2021-11-30 22:43:59 · 5203 阅读 · 0 评论 -
Transformer代表论文详解
最近Transformer在CV领域很火,Transformer是2017年Google发表的Attention Is All You Need中主要是针对自然语言处理领域提出的,后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。1. TransformerAttention Is All You Need论文详解2. Vision TransformerAn Image Is Worth 16x16 Words: Transformers For Image R原创 2021-11-01 17:26:51 · 609 阅读 · 0 评论 -
Transformer论文解读四(SegFormer)
最近Transformer在CV领域很火,Transformer是2017年Google发表的Attention Is All You Need中主要是针对自然语言处理领域提出的,后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。本文介绍的SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers将Transformer应用于语义分割。SegFormer是一个将tr原创 2021-11-01 17:19:00 · 5498 阅读 · 6 评论 -
Transformer论文解读三(distillation token)
最近Transformer在CV领域很火,Transformer是2017年Google发表的Attention Is All You Need中主要是针对自然语言处理领域提出的,后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。本文介绍的Training data-efficient image transformers & distillation through attention将蒸馏应用于Transformer,在没有外部数据预选训练数据的情况下,可以在原创 2021-11-01 15:40:04 · 1702 阅读 · 1 评论 -
Transformer论文解读二(Vision Transformer)
最近Transformer在CV领域很火,Transformer是2017年Google发表的Attention Is All You Need中主要是针对自然语言处理领域提出的,后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。本文介绍的An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale将Transformer应用到计算机视觉领域,称作Vision Transformer(原创 2021-11-01 13:48:10 · 3718 阅读 · 1 评论 -
Transformer论文解读一(Transformer)
最近Transformer在CV领域很火,Transformer是2017年Google发表的Attention Is All Y ou Need,主要是针对自然语言处理领域提出的。本系列文章介绍Transformer及其在各种领域引申出的应用。自我注意(Self-attention),有时也称为内部注意(intra-attention),是一种将单个序列的不同位置联系起来,以计算该序列的表示的注意机制。Transformer是第一个完全依靠自我注意来计算其输入和输出的表示,而不使用RNN的模型。论文指原创 2021-11-01 12:41:34 · 7565 阅读 · 1 评论