AMBERT（李航）---- 多粒度预训练模型

20200901 李航博士

一种多粒度 BERT----AMBERT（A Multi-grained BERT model）
https://arxiv.org/pdf/2008.11869.pdf

模型架构

简单理解：

• 输入：细粒度（字） + 粗粒度（词）

• encoding：参数共享的bert

• 输出：字级别的上下文序列表示 + 词级别的上下文序列表示（拼接）

• 预训练目标：

• fine-tuneing训练目标：