Put it back：细粒度实体识别，标签也有信息别忘了哦

本文同步发布知乎,知乎主页lynne阿黎请大家不吝关注~

背景

ENT任务(Entity Typing):判断一个实体的类别，粒度可以分为person，location, organization, others。细粒度实体识别根据不同的数据有不同的分类情况，例如Figer dataset有112类。ENT任务对实体链接，关系抽取，对话问答等任务来说都是一个非常必要的先要任务。一般ENT任务都是建立在大量的数据集和对这些数据集进行学习的有监督训练上的。然而本文认为，这些任务都忽视了标签中蕴含文本含义，例如下文中上下文的内容和实体的标签有相关性，正确的标签可以保证文本语义的正确，而错误的标签则会让文本语义有一定误差。

因此本文提出了一种可以计算上下文和标签相似度的Entity Typing Language Model Enhancement模型。那么论文是如何将上下文和标签的相似度结合在一起呢？下面我们将为大家介绍一下模型的细节。

模型

模型主要包含两个模块：实体标注模块(Entity Typing Module)和增强模块(Language Model Enhancement Module)。实体标注模块和我们平时接触的ENT任务相同，预测实体的标签，增强模块的输入也包括标签，同时反向传播的梯度也会传递给实体标注模块。在预测过程增强模块的输入不包含标签。

1. 实体标注模块（Entity Typing）

实体标注模块的输入是一个实体e和他所在的上下文s，其中其中 和别表示e左边和右边的词。该模块的输出是一个向量y表示实体在每个标签上的概率，模型采用交叉熵来计算loss。y的计算方式如下：

符号含义如下：

• 是sigmoid函数

• 是实体的向量，可由实体的词向量求和平均得到，这和我们计算句子的sentence embedding的处理非常相似

• 是上下文的向量，这里主要通过BiLSTM+Self Attention获得，通过BiLSTM模型可以学习到文本的上下文知识，通过Self Attention模型可以学习到文本中比较重要的知识。

• 文中成为特征，这是WSABIE算法中的概念，在论文E