ERNIE

介绍下ERNIE：

1、介绍ERNIE是什么，解决什么任务：
2、输入输出是什么
3、模型结构是什么：里面的关键点是什么。

1、ERNIE是百度针对bert在中文语料上预训练不足的问题上所提出来的，通过这个模型，中文很多任务可以用ERNIE模型解决。
2、MLM任务，举个例子：
ERNIE的输入：比如一句话：哈尔滨是一个冰雪城市。
那么mask掉其中的哈尔滨。通过ERNIE模型的训练之后，我们可以得到输出：哈尔滨是一个冰雪城市。通过ERNIE可以学到句子中的语义层面的很多信息。mask掉的词包含了更多上下文的语义信息。

所以对于ERNIE里面重点是mask的机制不同以及添加了更多丰富的训练预料。让模型成为一个有文化的模型。

3、模型的内部结构：（涉及到bert其实这里和bert的结构一样。按照bert来说）
主要是双向的transformer中的encoder结构。因为decoder是不能获要预测的信息的。
（这里补充：BERT对比这其他算法的优点是只有BERT表征会基于所有层中的左右两侧语境。BERT能做到这一点得益于MLM训练策略 与 Transformer中Attention机制将任意位置的两个单词的距离转换成了1（并行处理，所以可以看做是任意位置两个单词举例均为1））

transformer中encoder的结构如图：包含两个模块：一个是self-attention，一个是前馈神经网络。


涉及到transformer

ERNIE1.0

ERNIE1.0主要是改进了BERT的MLM任务。我们看图说话，