NLP on Transformers 101

第1章: 贝叶斯理论下的Transformer揭秘

1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构

2，为什么说抛弃了传统模型（例如RNN、 LSTM、CNN等）的Transformer拉开了非序列化模型时代的序幕？

3，为什么说Transformer是预训练领域底层通用引擎？

4，Transformer的Input-Encoder-Decoder-Output模型组建逐一剖析

5，Transformer中Encoder-Decoder模型进行Training时候处理Data的全生命周期七大步骤揭秘

6，Transformer中Encoder-Decoder模型进行Inference时候处理Data的全生命周期六大步骤详解

7，Teacher Forcing数学原理及在Transformer中的应用

8，穷根溯源：为何Scaled Dot-Product Attention是有效的？

9，透视Scaled Dot-Product Attention数据流全生命周期

10，穷根溯源：Queries、Keys、Values背后的Trainable矩阵揭秘

11，当Transformer架构遇到Bayesian理论：Multi-head attention

12，End-to-end Multi-head attention的三种不同实现方式分析

13，透视Multi-head attention全生命周期数据流

14，Transformer的Feed-Forward Networks的两种实现方式：Linear Transformations和Convolutions

15，Embeddings和Softmax参数共享剖析

16，Positional Encoding及Positional Embedding解析

17，Sequence Masking和Padding Masking解析

18，Normal distribution、Layer Normalization和Batch Normalization解析

19，Transformer的Optimization Algorithms数学原理、运行流程和最佳实践

20，Learning rate剖析及最佳实践

21，从Bayesian视角剖析Transformer中的Dropout及最佳实践

22，Label Smoothing数学原理和工程实践解析

23，Transformer背后的驱动力探讨