LFM3320829529的博客

注意力机制是一种在神经网络的设计中被广泛使用的技术。在认知科学中，当信息输入规模超过大脑的处理能力时，人类倾向于有选择地将注意力集中于感兴趣的信息，并忽略其他信息。本文将详细介绍并梳理目前存在的各类注意力机制的原理，方便按需使用。

ViT（Vision Transformer）是Google在2020年提出的直接将Transformer应用在图像分类的模型，它证明了Transformer在视觉任务中的潜力。ViT通过将图像分割成若干固定大小的图块，并将每个图块视为一个序列输入到Transformer中进行处理。与传统的卷积神经网络不同，ViT摆脱了卷积操作，完全依赖自注意力机制来捕捉图像中的长距离依赖关系。

本文介绍了一种名为 Swin Transformer 的新视觉 Transformer，由 Microsoft 研究团队于2021年提出，旨在解决传统 Transformer 模型在计算机视觉任务中的高计算复杂度问题。它基于ViT模型的思想，创新性的引入了分层架构和滑动窗口机制，让模型能够学习到跨窗口的信息，广泛应用于图像分类、目标检测、分割等视觉任务，已成为新一代的CV通用骨干。

Transformer是谷歌2017年发表的论文《Attention Is All You Need》中提出的，用于NLP的各项任务，其引入了自注意力机制（self-attention mechanism），具有长距离依赖关系建模、并行计算能力和通用性能优点，已广泛应用于系列数据的处理。在本文中，我们将从Transformer的整体框架、Encoder结构和输入输出、Decoder的结构和输入输出等方面，详细讲解Transformer的原理。