transformer-Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现

1，Task-aware的人工智能Language model + Pre-training + Fine-tuning时代

2，Decoder-Only Stack数学原理及架构解析

3，训练材料标注：neutral、contradiction、entailment、multi-label、QA等

4，NLP(Natural Language Understanding)：Semantic similarity、document classification、textual entailment等

5，大规模Unsupervised pre-training贝叶斯数学原理及架构剖析

6，Task-specific Supervised fine-tuning的Softmax及Loss详解

7，针对Classification、Entailment、Similarity、Mutiple Choice特定任务的Input数据预处理解析及矩阵纬度变化处理

8，GPT2架构解析：Language Models for unsupervised multitask learners

9，GPT 2把Layer Norm前置的数据原理剖析

10，GPT 2 Self-Attention剖析

11，GPT 2 Training数据流动全生命周期解析

12，GPT 2 Inference数据流动全生命周期解析

13，GPT 3 架构剖析：Language Models are Few-Shot Learners

14，由GPT 3引发的NLP12大规律总结

15，GPT数据预处理源码完整实现及调试

16，GPT的BPE实现源码及调试