NLP中的tramsformer的整体架构

tramsformer相比传统的解决方案的优势在于能够进行并行计算

编码方面:
1输入X,X是一个序列→里面包含好几句话→每句话有许多词
⬇⬇⬇⬇
2对词进行预处理→周期性的标志(正弦余弦)，独热编码(这一步中，主要是因为NLP模型一般都是人家训练好的，我们调调参就能上)
⬇⬇⬇⬇
3输入刚刚处理好的词，做N次self-attention
⬇⬇⬇⬇
4做multi-head的self-attention
⬇⬇⬇⬇
5随着层数的堆叠可能越预测效果越不理想使用残差连接

解码方面:
1使用mask机制(比如考试不能透考题)
2考虑编码端，每输出一个词都有独立的特征编码
3做N层，多层堆叠(multi-head与self-attention)
4化为分类问题