weixin_43199832的博客

GLM: General Language Model Pretraining with Autoregressive Blank Infilling代码分析

  GPT使用传统的fine-tuning无法在自然语言理解（Natural Language Understanding, NLU）任务上取得良好的效果。本文提出了一种新方法P-tuning（采用了可学习的连续prompt embedding），可以使得GPT的性能优于同等规模的BERT。同时，我们发现P-tuning也提升了BERT在小样本以及监督学习环境下的性能并且极大程度上降低了对prompt工程的需要。  根据训练的目标，预训练语言模型主要可以被分为三类：针对语言生成任务的单向语言模型，如GPT；

将prompt tuning引入到NLU(Natural Language Understanding)中，提出了P-Tuning v2

论文链接：All NLP Tasks Are Generation Tasks: A General Pretraining Framework代码链接：https://github.com/THUDM/GLM论文的主要贡献1）该方法（GLM）可以在分类、无条件生成和条件生成三种任务上，仅通过预训练，就可以获得很好的效果。2）通过使用预训练——微调一致性的方法，在分类任务上可以获得比BERT类模型更好的效果。3）该方法可以很自然地处理可变长度的填空任务，非常有利于对下游任务的迁移。下表展示了现有