（四）：M6:中文多模态预训练模型

ABSTRACT

在这项工作中，我们构建了最大的中文多模态预训练数据集，包含超过1.9TB的图像和292GB的文本，涵盖了广泛的领域。我们提出了一种跨模态预训练方法M6，对单模态和多模态数据进行统一的预训练。我们将模型规模扩大到100亿和1000亿参数，并建立了最大的中文预训练模型。我们将该模型应用于一系列下游应用，并与强基线进行了比较，展示了其出色的性能。在此基础上，我们专门设计了文本引导图像生成的下游任务，结果表明，经过微调的M6可以生成高分辨率、细节丰富的高质量图像。

KEYWORDS

多通道预训练；多任务；文本到图像生成

1 INTRODUCTION

预训练已经成为自然语言处理(natural language processing, NLP)研究的一个热点[1,2,7,15,17,18,25,29,35,42,47]。最近的GPT-3具有超过175B的参数，这表明在大数据上训练的大型模型具有非常大的容量，在下游任务中，特别是在零射击的情况下，它可以超越最先进的技术。同时，预训练在自然语言处理中的迅速发展也为跨模式的学前训练带来了曙光。许多研究[4,10,16,20,22,23,26,27,36,49]为各种跨模式下游任务创造了最新的性能。
遗憾的是，最近的研究大多集中在英语数据的预训练上。目前既缺乏大规模的中文数据集，也缺乏基于中文数据的大规模预训练模型。因此，在本研究中，我们开发了一个由1.9TB以上的图像和292GB的文本组成的大规模数据集M6- corpus。据我们所知，这是中国最大的多模态和自然语言预训练数据集。从网页上收集的