Exploiting the Syntax-Model Consistency for Neural Relation Extraction-学习笔记

Exploiting the Syntax-Model Consistency for Neural Relation Extraction

1.论文中，首先使用深度学习模型中单词的表示向量来计算每个单词的另一个重要性得分（称为基于模型的重要性得分）。这些基于模型的重要性评分有望量化单词所贡献的语义信息，从而成功预测输入实体所提及的关系。

之后，建议通过强制基于模型的重要性分数与语法对应项一致（即通过KL散度），将基于语法的重要性分数注入到RE的深度学习模型中。

一致性实施的动机是提升重要性分数，作为传递语法信息的桥梁，以丰富RE的深度学习模型中的表示向量。

2.ON-LSTM通过在隐藏矢量计算中引入两个额外的门（即主忘记门和输入门）来扩展流行的长期短期存储网络（LSTM）。