本文探讨了如何在神经关系抽取中利用语法-模型一致性。通过结合基于模型和基于语法的重要性得分，增强深度学习模型的表示能力。文章介绍了ON-LSTM和CEON-LSTM，它们旨在通过考虑句子整体和依赖树信息来改进单词的重要性评分。此外，引入了一种归纳偏置，以提高句子表示与实体间最短依赖路径单词表示的相似性，进而提升关系预测的准确性。
Exploiting the Syntax-Model Consistency for Neural Relation Extraction
1.论文中，首先使用深度学习模型中单词的表示向量来计算每个单词的另一个重要性得分（称为基于模型的重要性得分）。这些基于模型的重要性评分有望量化单词所贡献的语义信息，从而成功预测输入实体所提及的关系。
之后，建议通过强制基于模型的重要性分数与语法对应项一致（即通过KL散度），将基于语法的重要性分数注入到RE的深度学习模型中。
一致性实施的动机是提升重要性分数，作为传递语法信息的桥梁，以丰富RE的深度学习模型中的表示向量。
2.ON-LSTM通过在隐藏矢量计算中引入两个额外的门（即主忘记门和输入门）来扩展流行的长期短期存储网络（LSTM）。
1122
1299
401
3926
2416
1804
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
