jiayalu的博客

原创 AMBERT（李航）---- 多粒度预训练模型

20200901 李航博士 一种多粒度 BERT----AMBERT（A Multi-grained BERT model） 文章目录20200901 李航博士模型架构几点思考1、细粒度bert2、粗粒度bert模型效率引申模型1、AMBERT-Combo2、AMBERT-Hybrid 模型架构 简单理解： 输入：细粒度（字） + 粗粒度（词） encoding：参数共享的bert 输出：字级别的上下文序列表示 + 词级别的上下文序列表示（拼接） 预训练目标： fine-tunein