大语言模型论文阅读—Title: GLM: General Language Model Pretraining with Autoregressive Blank Infilling

• URLs: Paper, GitHub code

总结：

• a. 本文的研究背景：本文提出了一种基于自回归空格填充的预训练框架——通用语言模型（GLM），它添加了二维位置编码，并允许任意顺序预测跨度以改进空白填充预训练。与BERT、T5和GPT等现有预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。
• b. 过去的方法、问题及动机：本文通过multi-task的方式来对不同的预训练目标进行学习，使单一的GLM可优秀地处理 NLU 和文本生成。
• c. 本文提出的研究方法：使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。
• d. 方法在任务中的表现：GLM在自然语言理解任务中表现出优异的性能，同时，15%的蒙版比率对于性能的提升很关键。

背景：

• a. 主题和特点：本文研究了通用语言模型（GLM）的预训练框架，以提高自然语言理解和生成能力。
• b. 历史发展：传统的语言模型使用从左到右的解码方式，而GLM的预训练目标则是训练模型预测句子中缺失的单词，从而能更好地预测未来输入的单词序列。GLM是一种生成模型，可编码双向关注上下文以提高语言模型的性能。
• c. 过去的方法：传统的语言模型使用从左到右的解码方式。
• d. 过去的研究不足：传统的语言模型不能很好地预测未来单词序列，也不能在处理各种NLU任务上共享重要参数。
• e. 当前需要解决的问题：在自然语言理解和生成任务中，如何提高模型的表现力和效率。

方法：

• a. 研究的理论基础：GLM使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。
• b. 论文的技术路线（步骤）：GLM使用自回归空格填充目标来预训练语言模型，它使用二维位置编码来编码缺失文本中的标记位置和Part B中标记的内部跨度。模型体系结构是一个带有特定修改的单个Transformer。其中一个关键点是层归一化和残差连接顺序的重新排列。
• c. 论文中的创新点和性能：GLM的主要优势在于其能够学习双向关注，以编码上下文信息，从而提高语言模型的性能。在实验中，GLM在自然语言理解任务中表现出优异的性能，如SuperGLUE和LAMBADA，在生产等方面都有良好的表现。通过multi-task的方式来对不同的预训练目标进行学习，使单一的GLM可优秀地处理 NLU 和文本生成。同时，作者发现15%的蒙版比率对于GLM性能的提升很关键。
• d. 研究结论：本文发现，使用自回归空格填充目标预训练语言模型可以提高其预测能力。 GLM是一种更优异的预训练框架，可以夸大不同NLU任务间的共享参数。二维位置编码在GLM中是必须的，因为它可以编码标记位置和内部跨度。

结论：

• a. 工作的意义：GLM是通用的预训练框架，它可以提高自然语言理解和生成能力，可以处理多种NLU任务。
• b. 创新，性能和工作负载：GLM与BERT、T5和GPT等现有的预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。GLM的预训练目标可以让模型更好地预测未来单词序列。通过multi-task的方式来对不同的预训练目标进行学习，使单一的GLM可优秀地处理 NLU 和文本生成。15%的蒙版比率对于GLM的性能提升很关键。二维位置编码在GLM中是必须的，因为它可以编码标记位置和内部跨度。
• c. 研究结论（列举要点）：GLM是一种更优异的预训练框架，可以夸大不同NLU任务间的共享参数。二维位置编码在GLM中是必须的，因为它可以编码标记位置和内部跨度。使用自回归空格填充目标预训练语言模型可以提高其预测能力。