Pytorch一行代码便可以搭建整个transformer模型

transformer模型是在NLP领域发表的论文attention is all you need中提出的一种语言处理模型，其transformer模型由于加速了模型推理时间与训练精度，越来越受到了广大机器学习爱好者的追求。特别是transformer模型应用到CV计算机视觉领域后，transformer模型更是得到了广大的应用。

更多Transformer模型VIT 模型SWIN Transformer模型参考头条号：人工智能研究所

 最近大火的AI绘图stable diffusion也是应用到了transformer模型。虽然transformer模型是Google发布的论文，且最初的实现代码是基于TensorFlow实现的，但是pytorch的流行，让很多机器学习爱好者使用pytorch来实现transformer模型。

从transformer模型的架构图可以看出，其模型存在6层的编码器与6层的解码器组成，每层的编码器包含multi-head attention多头注意力机制与feed-forward前馈神经网络，且经过每次block功能外，还添加一层的add&norm的残差连接与归一化操作。