Transform学习

参考：https://blog.csdn.net/u013069552/article/details/108074349?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162916179216780357226446%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=162916179216780357226446&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-108074349.ecpm_v1_rank_v29&utm_term=Transform&spm=1018.2226.3001.4187

1、transform整个网络的结构主要是由attention组成（仅由self-attention和Feed Foward neural network组成）。

2、encoder部分分为：self-attention和feed-forward组成，数据经过self-attention之后得到一个加权的特征向量，被送入一个具有两层网络结构的feed-forward.

decoder部分多了一个encoder-decoder attention,两个attention分别用于计算输入和输出的权值。decoder中self-attention模块关注翻译与之前翻译的关系；encoder-decoder-attention关注翻译和当前编码的特征向量之间的关系。