ARC-II模型的细节

     2014年nips论文Convolutional Neural Network Architectures for Matching Natural Language Sentences,针对文本匹配模型,提出了两种网络,其中第一种网络结构ARC-I,是使用CNN分别对文本提取特征,然后计算特征的相似度,然而这种模型中, 在提取特征时,两个文本之间并没有交互,显然这样的匹配模型,不符合我们的直观想法,我们更期望然文本计算特征时有交互,提取出相互交叉、影响的特征,基于此,该论文提出了ARC-II结构。

ARC-II 的模型结构如上图所示,假设两个句子的长度都是N,embedding的维度为D,那么用一个3*3的卷积核在一个N*N的图片上进行扫描,每次扫描横向3个格子,纵向3个格子,分别代表两个句子对应的词,然后取到6个词,共计6* D,然后卷积核的大小也为6*D ,卷积核与被选中的词,进行点乘相加(此处没有激活函数),最终得到一个值,移动3*3的卷积核,最终得到一个卷积的图片。

此处图中交互卷积为1维卷积,查看matchzoo代码发现也确实为1维卷积,但此处1维卷积与textcnn中的二维卷积其实是同一

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值