源码剖析transformer、self-attention

原文链接

首先给大家引入一个github博客，这份代码是我在看了4份transformer的源码后选出来的，这位作者的写法非常易懂，代码质量比较高。GitHub - Separius/BERT-keras: Keras implementation of BERT with pre-trained weights

这篇文章主要跟大家分享四个点：多头机制(multi-head)、LN和GELU、位置编码。

在这再给大家安利几篇博客，便于大家更具体的理解自注意力的内在原理。

【NLP】Transformer模型原理详解 - 知乎

Attention机制详解（二）——Self-Attention与Transformer - 知乎（精华）

自然语言处理中的自注意力机制（Self-attention Mechanism） - robert_ai - 博客园

transformer是self-attention的落地或者说扩展，多头机制把自注意力机制发挥得淋漓尽致。transformer最亮眼的地方就是完全抛弃了常规的链式RNN结构（包括LSTM等其他变体），即：并行计算能力特别弱的计算方法。它应该会是早期NLP训练技术跟当期技术的一个里程碑，毕竟人家BERT是吧，刷新了不造几个记录，虽然XLNET又刷新了BERT的记录，但是这也正证实了这种设计理念的优秀！优秀啊。。。[斜眼笑]。。。

言归正传！

一、自注意力机制（self-attention）和多头机制（mutil-head）

常规的语言生成模型长这样

下一个字的生成，依靠且只依靠上一个字的输出状态和当前输入的输入状态，