第6章: BERT Pre-training模型源码完整实现、测试、调试及可视化分析

1，词典Vocabulary库构建多层级源码实现及测试

2，Dataset加载及数据处理源码完整实现及测试和调试

3，Next Sentence Prediction机制源码完整实现及测试

4，Masked Language Model机制中80%词汇Masking源码实现

5，Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现

6，Masked Language Model机制下的Output Label操作源码实现

7，加入CLS、SEP 等Tokens

8，Segment Embeddings源码实现

9，Padding源码实现及测试

10，使用DataLoader实现Batch加载

11，BERT的初始化init及forward方法源码实现

12，PositionalEmbeddings源码实现详解

13，TokenEmbeddings源码

14，SegmentEmbeddings源码

15，BERTEmbeddings层源码实现及调试

16，基于Embeddings之多Linear Transformation操作

17，Queries、Keys、Values操作源码

18，Attention机制源码实现

19，Multi-head Attention源码实现

20，Layer Normalization数学原理及源码实现

21，Sublayer Connection源码实现

22，Position-wise Feedforward层源码实现