论文阅读笔记 Named Entity Recognition for Novel Types by Transfer Learning

论文地址：https://aclweb.org/anthology/D16-1087  ，发表在了 EMNLP

摘要：

在本文中，我们提出了一种方法，在给定相关领域中具有相似（但不完全相同）的命名实体（NE）类型和少量域内训练数据的训练数据的情况下，我们使用迁移学习来学习特定域的NE模型。
本文新颖之处在于不仅假设域不匹配，而且还假设标签不匹配。

1、介绍

如果我们只有有限的训练数据，我们将无法可靠地学习特征参数。其次，源域中缺少目标NE类型使得迁移变得困难，因为我们不能直接将通过源域训练的模型应用于目标域。 Alvarado等（2015）表明即使NE标签集在各个域中相同，标签分布的大差异也会导致差的表现。尽管存在这些困难，但是可以在域之间传递知识，因为相关的NE类型通常共享词汇和上下文特征。

我们首先在大型源域训练语料库中训练NER模型，然后学习源和目标NE类型之间的相关性。在最后一步中，我们重用第二步的模型参数来初始化线性链CRF并对其进行微调以学习特定于域的模式。我们表明，基于仅125个目标域训练句子，我们的方法在强基线上的F分数提高了160％。

2、相关工作

主要介绍了kim(2015)的工作，此外处理缺乏注释的NER数据的另一种方法是利用远程监督，利用知识库来识别实体的提及。

3、NER中的迁移学习

我们提出的方法TransInit包括三个步骤：

（1）在大规模源数据域上训练一个线性链CRF。

（2）使用双层神经网络学习源NE类型和目标NE类型之间的相关性; 

（3）我们利用神经网络训练目标NE类型的CRF。

线性CRF的形式：

是只依赖于x的特征函数；