1,masked language modeling(MLM)数学原理和实现分析
2,permuted language modeling (PLM)数学原理和实现分析
3,为何MPNet为何能够缓解position discrepancy (vs. PLM in XLNet)?
4,BasicTokenizer源码完整实现分析
5,WordpieceTokenizer源码完整实现分析
6,MPNetTokenizer源码完整实现分析
7,MPNetEmbeddings源码完整实现分析
8,MPNetAttention源码完整实现分析
9,MPNetSelfAttention源码完整实现分析
10,MPNetPreTrainedModel源码完整实现分析
11,MPNetIntermediate源码完整实现分析
12,MPNetLayer源码完整实现分析
13,MPNetOutput源码完整实现分析
14,relative_position_bucket源码完整实现分析
15,MPNetEncoder源码完整实现分析
16,MPNetPooler源码完整实现分析
17,MPNetModel源码完整实现分析
18,MPNetForMaskedLM源码完整实现分析
19,MPNetLMHead源码完整实现分析
20,MPNetForSequenceClassification源码完整实现分析
21,MPNetForMultipleChoice源码完整实现分析
22,MPNetForTokenClassification源码完整实现分析
23,MPNetClassificationHead源码完整实现分析
24,MPNetForQuestionAnswering源码完整实现分析