18-19年基于预训练的语言模型对比
ref:后BERT时代:15个预训练模型对比分析与关键点探究
1. 模型对于长距离依赖的处理能力
Transformer-XL > Transformer > RNNs > CNNs
2. 前馈/循环网络 or 串行/并行计算
MLP/CNNs/Transformer:前馈/并行
RNNs/ Transformer-XL:循环/串行
3. 自回归vs自编码
自回归:文本序列联合概率的密度估计,为传统语言模型,天然适合处理文本生成任务。问题是文本序列是有序拆解的,无法同时构建上下文的特征表征。
自编码:降噪自编码特征表示,引入噪声mask构建MLM,获得上下文相关的双向特征表示,问题是这么做的前提是引入了独立性假设,假设单词之间都是相互独立的。这样的联合估计为有偏估计,没有考虑预测mask之间的相关性,所以不适合处理生成任务。
4.BiLSTM
不能用BiLSTM做双向语言模型的原因是因为会出现标签泄露,所以ELMo中的两个LSTM是独立训练的,并不共享参数,否则mask就没意义了。
5. BERT擅长处理的NLP任务
句子级别的任务,处理句子,段落间的匹配任务(需要输入句子对,效果很好)
适合处理高层语义提取任务,对浅层语义提取任务的提升不大
6. BERT如何引入知识
ERNIE1.0 在预训练阶段引入知识图谱,使用了三种mask的策略:basic level masking,phrases-level masking,entity-level masking.
ERNIE2.0 将文本中的实体对齐到外部的知识图谱中,并使用知识嵌入得到实体向量+句子向量作为输入
7. mask都有哪几种策略
BERT:mask word
BERT WWM:mask whole word
ERNIE: mask entity
SpanBERT: 使用随机masking,旨在隐式学习预测词,抛弃掉词内部的关系,并使用模型学习这种关系
8. XLNet
提出XLNet旨在同时囊括自回归和自编码模型的优点,抛去他们的缺点。
使用自回归语言模型,并引入排列语言模型PLM,Two-steam self attention等内容。