（四）：M6:中文多模态预训练模型

最新推荐文章于 2025-02-10 21:38:39 发布

Laura_Wangzx

最新推荐文章于 2025-02-10 21:38:39 发布

阅读量1.5k

点赞数

分类专栏： “情感分析”研究方向论文-精读总结

本文链接：https://blog.csdn.net/qq_37486501/article/details/114966464

版权

“情感分析”研究方向论文-精读总结专栏收录该内容

88 篇文章 ¥19.90 ¥99.00

订阅专栏

论文构建了迄今为止最大的中文多模态预训练数据集M6-Corpus，包含1.9TB图像和292GB文本，用于预训练模型M6。M6模型在多模态理解和生成任务上表现出色，可应用于文本到图像生成、视觉问答、图像字幕、问题回答等多个领域。通过大规模分布式训练，降低了训练成本，为多模态预训练的广泛应用开辟了道路。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ABSTRACT

在这项工作中，我们构建了最大的中文多模态预训练数据集，包含超过1.9TB的图像和292GB的文本，涵盖了广泛的领域。我们提出了一种跨模态预训练方法M6，对单模态和多模态数据进行统一的预训练。我们将模型规模扩大到100亿和1000亿参数，并建立了最大的中文预训练模型。我们将该模型应用于一系列下游应用，并与强基线进行了比较，展示了其出色的性能。在此基础上，我们专门设计了文本引导图像生成的下游任务，结果表明，经过微调的M6可以生成高分辨率、细节丰富的高质量图像。

KEYWORDS

多通道预训练；多任务；文本到图像生成

1 INTRODUCTION

预训练已经成为自然语言处理(natural language processing, NLP)研究的一个热点[1,2,7,15,17,18,25,29,35,42,47]。最近的GPT-3具有超过175B的参数，这表明在大数据上训练的大型模型具有非常大的容量，在下游任务中，特别是在零射击的情况下，它可以超越最先进的技术。同时，预训练在自然语言处理中的迅速发展也为跨模式的学前训练带来了曙光。许多研究[4,10,16,20,22,23,26,27,36,49]为各种跨模式下游任务创造了最新的性能。

了解本专栏