第1章: 贝叶斯理论下的Transformer揭秘
1,基于Bayesian Theory,融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构
2,为什么说抛弃了传统模型(例如RNN、 LSTM、CNN等)的Transformer拉开了非序列化模型时代的序幕?
3,为什么说Transformer是预训练领域底层通用引擎?
4,Transformer的Input-Encoder-Decoder-Output模型组建逐一剖析
5,Transformer中Encoder-Decoder模型进行Training时候处理Data的全生命周期七大步骤揭秘
6,Transformer中Encoder-Decoder模型进行Inference时候处理Data的全生命周期六大步骤详解
7,Teacher Forcing数学原理及在Transformer中的应用
8,穷根溯源:为何Scaled Dot-Product Attention是有效的?
9,透视Scaled Dot-Product Attention数据流全生命周期
10,穷根溯源:Queries、Keys、Values背后的Trainable矩阵揭秘
11,当Transformer架构遇到Bayesian理论:Multi-head attention
12,End-to-end Multi-head attention的三种不同实现方式分析
13,透视Multi-head attention全生命周期数据流
14,Transformer的Feed-Forward Networks的两种实现方式:Linear Transformations和Convolutions
15,Embeddings和Softmax参数共享剖析
16,Positional Encoding及Positional Embedding解析
17,Sequence Masking和Padding Masking解析
18,Normal distribution、Layer Normalization和Batch Normalization解析
19,Transformer的Optimization Algorithms数学原理、运行流程和最佳实践
20,Learning rate剖析及最佳实践
21,从Bayesian视角剖析Transformer中的Dropout及最佳实践
22,Label Smoothing数学原理和工程实践解析
23,Transformer背后的驱动力探讨