lstm 根据前文预测词_论文分享｜NER系统预测阶段的可解释性分析及其改进方法...

作者：余厚金

论文题目：Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve

作者：Oshin Agarwal

年份：2020

来源：Arxiv

网址：https://arxiv.org/pdf/2004.04564.pdf

1. 摘要

NER系统在诸如英语新闻之类的领域上取得了卓越的性能。很自然地会问：这些模型实际上可以学到什么来实现这一目标？只是记住token本身吗？还是能够解释文本并从上下文中推断出正确的实体类型？我们通过对比LSTM-CRF架构的几种变体的性能来研究这一问题，其中一些变种仅提供了上下文作为特征。我们还对BERT进行了类似的实验，我们发现上下文表示确实有助于系统性能，但是驱动高性能的主要因素是学习名称令牌本身。我们邀请人工注释者来评估仅从上下文推断实体类型的可行性，发现仍有一定的空间改善。一个系统应该能够根据上下文就正确识别出实体类别，而我们的实验表明，更好地利用上下文的信息可能会进一步改善当前的系统。

2. 问题

先前的工作表明，在训练数据中看不到的实体的性能会下降，另一方面，即使在同一数据集中使用不同的实体集切换实体也依然效果下降明显，实体切换如下表所示：