百度发布ERNIE 2.0，性能超BERT、XLNet

中国科技巨头百度于今日提出了 ERNIE 2.0——一个中英双语的会话式人工智能模型。ERNIE 2.0 在语言理解基准上的表现超过了谷歌的 BERT 和 XLNet，在 9 个国内的自然语言任务中也取得了傲人的成绩。

ERNIE 代表的是知识增强的语义表示模型，正如谷歌的 BERT 一样， ERNIE 2.0 依靠 transformer encoder 和 BookCorpus 的数据来进行训练。

ERNIE 在一些像影评的情感分析 (SST-2) 或者推测句子含义 (MNLI)的任务中表现比其他一流的 NLP 模型都出色。

ERNIE 2.0 是基于今年年初百度发布的汉语语言理解模型 ERNIE一代而建立的。一代和二代在多变的语言理解基准上表现出较好的性能。

ERNIE 2.0 采用了多任务学习、一系列诸如缩略语预测（由于缩略语经常包含一些特定的名词）的预训练任务、学习句子间关系和一些语义理解任务。

所有的预训练任务采用自监督或者弱监督信号，无需人类的标记便能从海量数据中得到这些信号。

它还依赖某种被称之为连续预处理的东西。

据周一发表在 arXiv 上的论文写道，“连续预处理的过程包括两步。第一，我们通过大型语料库或者手头的先验知识来进行无监督的预处理任务。第二，我们通过多任务学习逐步更新了 ERNIE 模型。

本月早些时候，百度在其年度人工智能开发者大会上宣布，其阿波罗自主车辆系统已经在中国的城市中行驶了 100 多万英里，并与英特尔分享了在 Nervana 神经网络项目上合作的计划。 

为了实现两年前提出的让所有人都能使用 Duer 对话平台的目标，百度还宣布 Duer 现在为 4 亿台设备提供语音命令服务，而一年前这个数量仅为 1 亿台。 www.121mu.com/lnzt199/