本文研究了如何利用外部知识提升BERT在文本语义匹配任务的效果。通过数据增强分析和逐层表现分析，发现BERT在同义词理解和利用上存在不足。提出了将词相似矩阵引入底层注意力计算，以同义词知识增强模型底层表现，从而提高模型性能。实验结果显示这种方法在多个语义匹配数据集上取得了积极效果。
©PaperWeekly 原创 · 作者｜张琨
学校｜中国科学技术大学博士生
研究方向｜自然语言处理
Motivation
BERT 等预训练模型使得自然语言处理等相关研究能够充分利用大规模的无标注语料，推动了整个自然语言处理的发展。那么接下来如何进一步提升 BERT 等模型的效果是研究人员关注的一个重点。除了结构，训练方式等，一个重要的分支就是使用外部知识，利用外部知识提升模型的效果。
常规做法是增加一个额外的任务帮助模型利用外部知识，这种存在一个问题，额外的任务会影响 BERT 本身的结构和参数，因此提升效果是不稳定的，有没有更加简单有效的方法提升模型的效果呢？
针对这个问题，本文针对 BERT 在文本语义匹配任务上进行了一个深入的研究，并设计了一种简单有效的外部知识利用方法。
论文标题：
Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks
论文作者：
Tingyu Xia / Yue Wang / Yuan Tian / Yi Chang
论文链接：
https://arxiv.org/abs/2102.10934
代码链接：
https://github.com/xiatingyu/Bert_sim
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
