基于注意力机制的lstm实现_科研成果 | 基于监督注意力机制的自然语言推理方法...

本文介绍了一种基于监督注意力机制的自然语言推理方法。本项工作由赛博智能团队的李沛光等人提出，相关论文已于2020年3月发表于NeuroComputing期刊。该期刊影响因子为4.072，是CCF推荐二区期刊。

背景介绍

01

自然语言推理(Natural Language Inference, NLI)是自然语言处理的重要任务，旨在判断一对自然语言句子间的语义关系，被广泛应用于事实检测、问答系统和对话系统等下游任务中。

注意力机制是自然语言推理模型中的重要组件。比如，句内注意力(intra attention)用于增强句子的表示；句间注意力(inter attention)用于构建句子间的交互通道。以往方法采用的注意力机制是无参的(如矩阵间的点乘)或者随着模型进行优化而没有独立的目标。然而，自然语言有清晰的句法结构，并且句子间也有着明显的对齐信息。

以下图为例，在句内注意力模块中，希望能捕捉到与其句法相关的词。如：

• carrying对应于a、li