2022 年中回顾｜一文看懂预训练模型最新进展

本文回顾了过去 12 个月以来，国内外大模型的发展趋势，包括百花齐放的国产大模型、新秀不断涌现的多模态模型、萌芽中的通用能力模型等等，并对大模型新应用、预训练框架等方面的进展进行了总结。

根据澜舟科技创始人兼 CEO 周明、澜舟大模型技术负责人王宇龙在「澜舟NLP分享会」演讲整理，全文约 7000 字，预计阅读时长 10 分钟。

大模型技术发展背景

此前十余年，人工智能在“感知智能”方面进展非常迅速，涌现了“CV 四小龙”等公司。在 2017 年，谷歌提出了 Transformer 架构，随后 BERT 、GPT 等预训练模型相继提出，2019 年基于预训练模型的算法在阅读理解方面超过了人类的水平，此后 NLP 技术在各项任务中都有了大幅度的提升。

AI 从感知智能向认知智能迈进

我们今天看到了一个明显的趋势就是 AI 正从感知智能快速向认知智能迈进。AI 正从“能听、会说、会看”的感知智能，走向“能思考、能回答问题、能总结、做翻译、做创作”的认知智能，甚至走到“决策、推理”层面了。

图 1

如图 1 右侧所示，认知智能的例子比比皆是。比如，达到了接近人类水准的机器翻译已经在手机和桌面普遍使用；聊天机器人几乎可以通过图灵测试；搜索引擎得益于阅读理解以及预训练模型，搜索相关度大幅度提升；自动客服系统已经普及；知识图谱在金融等领域得到快速应用。这些认知智能的能力在加速推动产业发展，从大数据出发到建立信息检索，再到建立知识图谱并实现知识推理，再到发现趋势形成观点和洞见，认知智能在大数据支持下，推动着企业的业务数智化，正深刻地影响产业的发展。可以说 NLP 和认知智能代表了人工智能的未来发展。

预训练成为了认知智能的核心技术

刚才说到 2017 年推出的 Transformer，催生了 BERT、GPT、T5 等预训练模型。这些模型基于自监督学习，利用大规模文本学习一个语言模型。在此基础上，针对每一个NLP 任务，用有限的标注数据进行微调。这种迁移学习技术推动了 NLP 发展，各项任务都上了一个大台阶。更为重要的是，产生的“预训练+微调”技术，可用一套技术解决不同语言和不同的 NLP 任务，有效地提升了开发效率。这标志着 NLP 进入到工业化实施阶段。

图2

当前在预训练模型领域较为关注的研究重点包括：如何训练超大规模参数的模型、对已有模型架构的创新性研究、更加有效的训练方法和训练加速的方法。还有简化微调的步骤，比如像 GPT-3 那样用一套提示机制来统一所有下游任务的微调，推动零样本学习和小样本学习。除此之外，多模态预训练模型和推理加速方法也是目前的研究焦点。

NLP领域需要挑战产品创新和商业模式创新

人们常说创新有三个层次，一个是科研的创新，第二个是产品的创新，第三是商业模式的创新。

我个人认为预训练模型是目前最具颠覆性的科技创新。可是再伟大的科技创新也要考虑如何推动产品的创新和商业模式的创新。如何从工业界观点来看，把科技创新贯穿到产品创新，贯穿到商业模式的创新呢？也就是说如何实现认知智能的落地？

图 3

这里我跟大家分享如下四个观点。

模型训练。 首先需要积累各类互联网数据、包括单语和双语数据、行业数据。通过实体、关系和时间序列抽取建立知识图谱。与此同时，建立大规模的预训练模型支持单语、多语、多模态等各项任务，并进而支持搜索、文本理解、生成、翻译、语音、图像、视频等各项应用。

模型快速适配。 要有能力针对某一个行业需求，快速训练所需的模型。鉴于大模型在落地的时候部署代价大，需要考虑模型压缩和轻量化。为了解决 NLP 开发碎片化问题，建立一套基于预训练和微调机制的技术平台支撑所有语言、所有领域和任务的研发和维护。

柔性AI智能云服务。 需要开发柔性AI智能云技术，使得用户以傻瓜型“拖拉拽”操作方式，“所见即所得”地实现自己的功能，并提供随着用户用量灵活调度云资源的弹性服务。

多样化的服务。 通过开源方式提供普惠服务，并建立起品牌和口碑；通过SaaS提供付费服务；通过深度订制对重要客户提供优质服务。

这里特别提一下澜舟科技在预训练模型方面的研究。2021 年 7月，澜舟自研的孟子预训练模型以十亿级的规模，荣获了中文 NLP 比赛 CLUE 第一名。超过了许多大公司的大模型。它具备如下特色：

• 小：提供 100M 至 1B 参数量的多级别模型，实现低硬件需求和低研发成本。
• 精：模型结构上引入更多知识，同样模型体积下可有更好的表现。
• 快：可用 8 张 3090 卡约 3 天完成一个领域迁移（base 级），8 张 3090 卡半天完成一个任务适应。
• 专：可对每个领域或者每个任务定制预训练模型。由于是专用模型，其水平可超过通用的大模型。

目前，我们开源了四个模型（孟子Mengzi-BERT 模型、孟子Mengzi-T