《Natural language Inference Over Interaction Space》阅读笔记

1.主要贡献

提出了一种新型的网络结构（Interactive Inference Network, IIN），能够从交互空间（interaction space）中抽取句子对的语义特征；

基于注意力权重有助于理解文本的假设，提出一种词对词的注意力（交互张量），越密集的交互张量含有的语义信息越丰富；

 

2.模型结构

2.1 Interactive Inference Network

如下图左侧所示，IIN由5个部分组成，每个部分都可以以多种方式灵活实现。

（1）Embedding Layer

将每个词或短语表示成向量，构建句子的表示矩阵。这里可以使用预训练的词嵌入模型，如GloVe、word2vec等。还可以结合NER、句法分析等工具，给表示向量增加更多的词法、句法信息。

（2）Encoding Layer

以一种或多种特定方式对句子表示向量编码，比如使用循环神经网络来对序列建模、使用递归神经网络来对句子结构建模或使用注意力机制来对句子的长期依赖建模。

（3）Interaction Layer

计算每对表示向量间的余弦相似度或点乘，来对句子对交互信息建模。在此之上还可以通过两个表示矩阵之间的乘法来获得更高层的交互特征。

（4）Feature Extraction Layer

通过神经网络（CNN、RNN、TreeRNN）从交互特征中提取语义特征。

（5）Output Layer

对特征解码，给出预测。

2.2 Densely Interactive Inference Network

IIN的一种实例，简单但是在多个数据集上取得了SOTA效果。

（1）Embedding Layer

词嵌入 + 字符特征 + 句法特征

词嵌入：预训练的GloVe；

字符特征：通过1D卷积和时间维度上的max pooling得到；

句法特征：one-hot part-of-speech tagging feature + binary exact match feature

（2）Encoding Layer

双层highway network + self attention

（3）Interaction Layer

两个特征矩阵中的特征向量两两计算交互信息。

（4）Feature Extraction Layer

DenseNet / ResNet

（5）Output Layer

线性分类