Transformer模型中的Attention机制

导读：本文将结合《Attention is all your need》论文读后感和网络高赞热文结合，谈一谈我对transformer模型中使用的attention机制的理解。
首先，大家请花几分钟观察一下下图，把基本的要素，记住。后面会用到相关的概念。

上图左边是编码器，它由6层组成，每一层由2个子层，分别是多头自注意力层和前向反馈层，2层之间使用残差网络连接，在正则化之后。每一个子层的输出是LayerNorm=(x+Sublayer(x))，为了控制残差连接，模型中的所有子层，和嵌入层，模型的输出维度为512。
上图右边是解码器，解码器也由6层组成，解码器由3个子层组成。

Attention注意力机制
注意力机制被描述为对query和key-value输出的映射，它们都是向量，输出被计算为一个权重，权重被分别计算，通过一个与之相关的key。

建议大家去看原版论文，多通读几篇，相信会有所收获，想获取原版论文等相关学习资料，可以邮件cimteclbj@163.com联系我探讨NLP知识。