2014年nips论文Convolutional Neural Network Architectures for Matching Natural Language Sentences,针对文本匹配模型,提出了两种网络,其中第一种网络结构ARC-I,是使用CNN分别对文本提取特征,然后计算特征的相似度,然而这种模型中, 在提取特征时,两个文本之间并没有交互,显然这样的匹配模型,不符合我们的直观想法,我们更期望然文本计算特征时有交互,提取出相互交叉、影响的特征,基于此,该论文提出了ARC-II结构。
ARC-II 的模型结构如上图所示,假设两个句子的长度都是N,embedding的维度为D,那么用一个3*3的卷积核在一个N*N的图片上进行扫描,每次扫描横向3个格子,纵向3个格子,分别代表两个句子对应的词,然后取到6个词,共计6* D,然后卷积核的大小也为6*D ,卷积核与被选中的词,进行点乘相加(此处没有激活函数),最终得到一个值,移动3*3的卷积核,最终得到一个卷积的图片。
此处图中交互卷积为1维卷积,查看matchzoo代码发现也确实为1维卷积,但此处1维卷积与textcnn中的二维卷积其实是同一