transformer模型起初被提出于2017年google的《Attention ls All you Need》中。论文路径:[pdf]
transformer完全抛弃了CNN,RNN模型结构。起初主要应用在自然语言处理中,后面逐渐应用到了计算机视觉中。
仅仅通过注意力机制(self-attention)和前向神经网络(Feed Forward Neural Network),不需要使用序列对齐的循环架构就实现了较好的performance 。
(1)摒弃了RNN的网络结构模式,其能够很好的并行运算;
(2)其注意力机制能够帮助当前词获取较好的上下文信息。
transformer模型结构:
- 注意力机制
- Encoder-Decoder模型
在CV中采用Transformer的相关工作中主要有两种模型架构。一种是纯Transformer结构(如:Vision Transformer),另一种是将CNNs/主干网与Transformer相结合的混合结构(如:DETR)。
-
DETR(End-to-End Object Detection with Transformers),使用Transformers进行物体检测和分割。
-
Vision Transformer(AN IMAGE IS WORTH 16X16 WORDS: Transformer FOR IMAGE RECOGNITION AT SCALE),使用Transformer 进行图像分类。
-
Image GPT(Generative Pretraining from Pixels),使用Transformer进行像素级图像补全,就像其他GPT文本补全一样。
-
End-to-end Lane Shape Prediction with Transformers,在自动驾驶中使用Transformer进行车道标记检测