开篇
句子相似是目前我做问句匹配的基础。
这是我尝试使用词向量,以一种无监督方法去计算两个句子相似度的第二种方法。第一种方法,我尝试使用词向量的加权平均生成句向量来计算句子间的相似度,效果很一般,之后我会尝试使用不同的加权方法再次计算。有机会我会连着代码一起放出来。
当然我还使用了三种不同的深度学习方法来计算相似度,之后都会以代码讲解的方式呈现。本博客没有使用任何公司的数据,也未集成到公司的任何系统中,属于学术型文章开源。
WMD
word mover’s distance 是一种计算句子之间距离的方法,距离越小,相似度越高。看了网上几篇博客,基本是这边抄一下,那边抄一下,内容非常得凌乱。这边也放一篇博客,等我读过原始论文,再来这篇博客来补充相关的理论知识,现在这篇博客希望通过代码让你更快的构建自己的wmd计算函数。迅速实战。
词向量
首先我们还是需要借助词向量,你可以自己下载别人训练好的词向量,或者自己使用gensim训练词向量
关于词向量的训练,我这边不再重复,使用gensim只要几行代码,如果没有相关的经验,可以参考我之前的博客。
WMDdistance
先放出相关的代码,博客的最后我会放出完整的代码,如果有什么疑问欢迎留言。数据是公司的ÿ