qq_42665890的博客

原创 transformer学习记录

Transformer学习记录 文章目录原文摘要一、Transformer提出的意义二、模型架构1.编码器2.LayerNorm3.解码器4.具体定义注意力层5.在Transformer中如何使用注意力6.Position-wise Feed-Forward Networks7.Embeddings and Softmax8.Positional Encoding三、总结 原文摘要 主流的序列转录模型（由一个序列生成另外一个序列）主要依赖于RNN或CNN网络，其中也包括编码器-解码器的架构模型。性能较好的