刷新50多个NLP任务基准，并登顶SuperGLUE全球榜首，百度ERNIE 3.0知识增强大模型显威力

近日，百度ERNIE升级到3.0，重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学习词汇、结构、语义等知识外，还从大规模知识图谱中学习。

ERNIE 3.0一举刷新54个中文NLP任务基准，其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上, 以超越人类水平0.8个百分点的成绩登顶全球榜首。ERNIE 3.0同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。

目前ERNIE 3.0已在百度文心官网开放，用户可体验ERNIE 3.0创作的不同形式的内容，实现更多有创意、有价值的应用。

论文链接：
https://arxiv.org/pdf/2107.02137.pdf
Demo链接：
https://wenxin.baidu.com/wenxin/ernie

ERNIE 3.0知识增强大模型：百亿级预训练中首次引入大规模知识

近一年来，以GPT-3、Switch-Transformer为代表的大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移能力，掀起了预训练模型往大规模参数化发展的浪潮。然而，现有的大规模预训练模型，主要依赖纯文本学习，缺乏大规模知识指导学习，模型能力存在局限。

ERNIE 3.0的研究者进一步挖掘大规模预训练模型的潜力，基于深度学习平台飞桨的分布式训练技术优势，首次在百亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法（Universal Knowledge-Text Prediction）。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练，促进了结构化知识和无结构文本之间的信息共享，大幅提升了模型对于知识的记忆和推理能力。

（ERNIE 3.0中的文本与知识平行预训练）

ERNIE 3.0统一预­训练框架：同时具备语言理解和语言生成能力

百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架，该框架融合自编码和自回归等不同的任务语义表示网络，既可同时处理语言理解和语言生成任务，还能做无标注数据的零样本学习（Zero-shot Learning）和有标注数据的微调训练（Fine-tuning）。此外，ERNIE 3.0在持续学习框架的基础上，增加了任务语义表示网络，加速模型进化。

（ERNIE 3.0框架）

ERNIE3.0框架分为两层。第一层是通用语义表示网络，该网络学习数据中的基础和通用的知识。第二层是任务语义表示网络，该网络基于通用语义表示，学习任务相关的知识。不同任务语义表示网络可通过自编码结构或者自回归结构实现，并通过底层共享实现交互和增强。在学习过程中，任务语义表示网络只学习对应类别的预训练任务，而通用语义表示网络会学习所有的预训练任务。

ERNIE 3.0效果：一举刷新54个中文NLP任务基准

百度研究者在54个中文自然语言处理公开数据集，包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学运算等任务上，全面验证评估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了当前最好效果，其中，在20多个不同类型的自然语言处理任务上取得了3%以上的显著提升。

（ERNIE 3.0在Fine-tuning范式下的任务效果）

在实际应用中，往往缺乏标注数据，因此，百度研究者也测试了ERNIE 3.0在Zero-shot Learning（零样本学习）范式下的效果，ERNIE 3.0在大多数任务上相对已有的中文大模型也取得了显著的效果提升。

（ERNIE 3.0在零样本学习下的效果）

ERNIE 3.0英文模型登顶SuperGLUE：超越人类水平0.8个百分点

除了中文模型的惊艳效果，ERNIE 3.0英文模型在国际权威的复杂语言理解任务评测SuperGLUE上超越谷歌的T5、OpenAI的GPT-3等大模型，以超越人类水平0.8个百分点的成绩登顶全球榜首。

SuperGLUE是由谷歌DeepMind、Facebook研究院、纽约大学、华盛顿大学等多个权威机构联合发­布的复杂语言理解任务评测，旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。

（ERNIE 3.0登顶SuperGLUE全球榜首）

事实上，早在2019年12月，ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠，再次证明了ERNIE的强大实力。

（ERNIE登顶GLUE全球榜首）

写小说、写歌词、写古文：ERNIE 3.0文学创作与知识掌握能力显著提升

ERNIE 3.0，在文学创作能力方面也有了显著提升，可以通过对海量文本与知识的学习，无需专门训练，即可进行文学创作。

ERNIE 3.0对知识的掌握，同样大幅提升，通过知识图谱对模型进行增强，让模型具备更强的知识记忆和推理能力。

目前这些能力已经开放体验，大家可以点击（Demo地址）亲身感受ERNIE 3.0的技术魅力。

文心ERNIE自2019年诞生至今，在语言理解、文本生成、跨模态语义理解等领域取得一系列技术突破，在公开权威语义评测中斩获了十余项世界冠军。2020年，文心荣获世界人工智能大会（WAIC）最高奖项SAIL奖。

目前，文心ERNIE已大规模应用于搜索、信息流、智能音箱等互联网产品，并通过百度智能云输出到工业、能源、金融、通信、媒体、教育等各行各业，助力产业智能化升级。本次发布的ERNIE 3.0也将进一步提升应用效果，创造更大的经济与社会价值。

想要体验ERNIE 3.0文学创作和知识掌握能力的小伙伴，点击文末链接访问Demo。

Demo链接：
https://wenxin.baidu.com/wenxin/ernie

百度自然语言处理（Natural Language Processing，NLP）以『理解语言，拥有智能，改变世界』为使命，研发自然语言处理核心技术，打造领先的技术平台和创新产品，服务全球用户，让复杂的世界更简单。