本文是Multiway Attention Networks (MwAN)的阅读笔记，该模型用于增强句子对之间的交互，特别是在paraphrase identification、natural language Inference等任务中。MwAN通过多样的注意力机制改进了matching-aggregation结构，包括Encoding Layer、Multiway Matching、Inside Aggregation、Mixed Aggregation和Prediction Layer。实验部分展示了在Quora Question Pairs、SNLI、MultiNLI和SQuAD等数据集上的优秀性能。
文章目录
概述
对句子对进行建模应用非常广泛, 常见的任务有paraphrase identification, natural language Inference, sentence similarity, answer sentence selection等等.
目前的方法总结起来可以分为两种结构:
- 对两句话分别单独编码, 最后基于提取的特征输出结果. 这种做法最大的缺陷是在编码阶段没有任何交互, 损失了很多信息.
- 为了解决第一种结构存在的缺陷, 目前流行的做法是利用注意力机制, 增强句子对之间的交互. 这种模型结构基于matching-aggregation结构, 先利用注意力机制, 提取句子对中词与词之间的匹配信息, 再对匹配信息进行聚合操作, 用来衡量两句话的关系.
这篇文章的网络结构依然采用目前流行的matching-aggregation结构, 创新点在于使用了多种attention方程来进行匹配.
模型
包含五部分:
- Encoding Layer
- Multiway Matching
- Inside Aggregation
- Mixed Aggregation
- Prediction Layer
1. Encoding Layer
先将每个词表示为word embedding和contextual embedding(Elmo), 然后利用双向GRU进行编码. 对于句子q,
最终句子q表示为 h t q = [ h t q → , h t q ← ] h_t^q = [\overrightarrow{h_t^q}, \overleftarrow{h_t^q}] htq=[htq
最低0.47元/天 解锁文章
扫一扫
3534
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
