qq_41018465的博客

Semantics-aware BERT for Language Understanding一、 本文所做工作1） 现成的语义角色标记器2） 一种序列编码器3） 一个整合语义信息和文本表示的组件二、 Background and Related Work1） 语言模型。2） 明确的上下文语义。三、 Model1） Semantic Role Labeling2） Encoding3） Integration五、 Conclusion 一、 本文所做工作 目前的预训练语言模型虽然取得很大的成功，但是仅仅引入