模型预训练任务

    在进行模型的大规模预训练时，往往需要设计合适的自监督预训练任务，使得模型能够从海量无标注数据中学习到广泛的语义知识与世界知识。目前，常用 的预训练任务主要分为三类，包括语言建模（Language Modeling, LM）、去噪自编 码（Denoising Autoencoding, DAE）以及混合去噪器（Mixture-of-Denoisers, MoD）。 下图展示了这三种任务各自的输入与输出示例。

Ilya Sutskever 对于预测下一个词元任务有效性的解释

语言建模

    语言建模任务是目前绝大部分大语言模型广泛采用的预训练任务。该任务的核心在于“预测下一个词元”，并且经常被应用于训练基于解码器的大语言模型，例如 GPT-3 和 PaLM 等。形式化来说，给定一个词元序列