本文介绍了自然语言推理（NLI）问题，探讨了Enhanced LSTM在网络中的应用，包括输入编码、局部推理模型和推理合成。论文使用BiLSTM来捕获句子的双向语义依赖，并通过软对齐和Tree-LSTM进行局部信息的收集。ESIM模型中的软注意力机制使得两个句子在inter-sentence attention步骤中产生交互。
Enhanced LSTM for Natural Language Inference
- 自然语言推理（NLI: natural language inference）问题：即判断能否从一个前提p中推导出假设h，简单来说，就是判断给定两个句子的三种关系：蕴含、矛盾或无关。
- 论文中的自然语言推理网络由以下部分组成：输入编码（Input Encoding ），局部推理模型（Local Inference Modeling ），和推理合成（inference composition）。
- 若有两个句子a=(a1,...,ala) 和 b=(b1,...,blb)， 其中a为前提，b为假设。ai和bj都是l维的向量，可以由提前训练好的词向量进行初始化，并且由分析树(parse tree)进行组织。
- input encoding使用 BiLSTM 分别学习a 和 b 的词与上下文信息，得到新的向量表示：
随后会用BiLSTM来进行推断的合成，从而进行最后的预测。 - BiLSTM是Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成。这两个LSTM在每个时间步生成的隐藏状态被连接一起，以表示这一时间步以及它的上下文。LSTM和BiLSTM在自然语言处理任务中都常被用来建模上下
最低0.47元/天 解锁文章
扫一扫
752
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
