深度文本匹配模型(一):k-nrm

本文介绍深度文本匹配模型k-nrm,用于句子相似度计算,常见于问答系统。模型包括Embedding Layer、Translation Layer、Kernel Pooling和全连接层。核心创新在于使用高斯核函数进行池化,而后续的conv-knrm模型则引入了卷积操作。
摘要由CSDN通过智能技术生成

开篇

用深度学习模型去匹配句子的相似度已经是目前句子相似度的主流方法。本质上还是句子相似度的问题。深度文本匹配模型可以提供更好的搜索排序服务。它的基本场景就是:给一个query,模型返回排序靠前的document。是不是很像一个搜索引擎,其实本质上是差不多的。只不过深度文本匹配更具语义上的优势,更加智能。公司实习是做问答系统,所以最近都在刷一些文本匹配的模型,这边以博客的形式记录下来。不光是理论,我会奉上一些代码。本博客没有使用任何公司的数据,也未集成到公司的任何系统中,属于学术型文章开源。

k-nrm

本模型来源于End-to-End Neural Ad-hoc Ranking with Kernel Pooling
下载地址,如果公司、学校没有购买acm的库,可以去百度搜索一下题目下载免费的。

先放上模型图,再逐步解释它的每一个部分。

每一步的公式也放上,便于大家复现模型,这边先不放代码,后期会放上代码。

Embedding Layer

公式从下往上看。深度学习NLP任务中出镜率异常高的embedding层。如图所示,

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值