qq_52817665的博客

原创 transformer学习笔记

Transformer中抛弃了传统的CNN和RNN，网络结构完全由Attention机制组成。Transformer由且仅由Self-Attention和FFN网络组成。Transformer神经网络从堆叠Transformer的形式搭建。Transformer 的encoder中，数据经过Self-Attention模块，得到加权后的特征向量Z（Attention）。编码器由6个Encoder block组成，解码器由6个Decoder block组成。编码器的输出会成为解码器的输入。