轻量级Transformer模型ConvBERT架构及完整源码实现

第28章：使用Local dependency轻量级Transformer模型ConvBERT架构内幕及完整源码实现

1，BERT依赖global self-attention而带来的问题分析

2，BERT不同Layer的computation redundancy分析

3，使用local dependency的数学原理分析

4，local dependency的工程实践

5，convolution head数学原理剖析

6，构建mixed attention block分析

7，ConvBertTokenizer源码解析

8，把TF模型的checkpoints加载入pytorch模型中

9，ConvBertEmbeddings完整源码分析

10，ConvBertPreTrainedModel完整源码分析

11，SeparableConv1D完整源码分析

12，ConvBertAttention完整源码分析

13，ConvBertSelfAttention完整源码分析

14，ConvBertSelfOutput完整源码分析

15，GroupedLinearLayer完整源码分析

16，ConvBertIntermediate完整源码实现分析

17，ConvBertLayer完整源码实现分析

18，ConvBertOutput完整源码实现分析

19，ConvBertEncoder完整源码实现分析

20，ConvBertPredictionHeadTransform完整源码实现分析

21，ConvBertModel完整源码实现分析

22，ConvBertGeneratorPredictions完整源码实现分析

23，ConvBertForMaskedLM完整源码实现分析

24，ConvBertClassificationHead完整源码实现分析

25，ConvBertForSequenceClassification完整源码实现分析

26，ConvBertForMultipleChoice