语义处理工具：Jaccard相似度算法优化

最新推荐文章于 2024-11-02 15:25:13 发布

风萧萧1999

最新推荐文章于 2024-11-02 15:25:13 发布

阅读量882

点赞数 18

文章标签：算法

本文链接：https://blog.csdn.net/u012998680/article/details/142647701

版权

之前写过一篇文章：语义处理工具：语义版Jaccard相似度-CSDN博客，但在实际应用中发现，这篇文章中提到的算法还是有点问题，这次进行了一些优化，以事例进行算法说明。

两个句子

句子A：想买笔记本，请问苹果电脑的价格
句子B：问下联想笔记本多少钱

1、分子（即：语义相似性部分）计算

第一步：分词：

SetA={想买，笔记本，请问，苹果，电脑，的，价格}
SetB={问下，联想，笔记本，多少钱}
第二步：剔除无意义的停用词：

SetA={想买，笔记本，请问，苹果，电脑，价格}
SetB={问下，联想，笔记本，多少钱}

第三步：查找两个集合求交集得出相同语言片段个数为：

1 （即为：笔记本）

剔除词语“笔记本”后，

SetA1={想买，请问，苹果，电脑，价格}
SetB1={问下，联想，多少钱}

第四步：将SetA1、SetB1中的词语构造相似性矩阵，用横坐标和纵坐标对应词语的语义相似性填充矩阵元素值（可以用Word2Vec计算两个词语的余弦相似性，一般语义越相似，Cosine得分越大），填充好的矩阵形式如下图：

	想买	请问	苹果	电脑	价格
问下	0.24	0.99	0.22	0.13	0.33
联想	0.67	0.18	0.75	0.56	0.56
多少钱	0.66	0.20	0.33	0.27	0.99

第五步：随便选出一个阈值a=0.8，在计算语义相似性的时候，如果语言片段相似性高于阈值，我们认为两个语言片段语义匹配，这个阈值可以用来控制计算结束过程。

算法描述如下：

语义Jaccard相似性部分计算：

输入：语义相似性矩阵S，阈值a ;
输出：语义Jaccard公式分子部分分值Total
详细步骤：

循环如下步骤，直到算法退出：
Step 1.找到相似性矩阵S中的当前所有元素中的最高值；
Step 2.如果这个最高值高于阈值a，则Total+1，转Step 3 ；如果这个最高值低于阈值，则分子部分计算结束，输出Total值；
Step 3.把当前矩阵中的最高值对应矩阵横坐标和纵坐标的行及列中所有元素值置为0，其含义是这两个片段不再参与后面的计算了，然后返回Step 1步骤继续循环。
具体例子：

1. 分子总分Total=1；假设阈值a=0.8；

2.首先找到矩阵中的最高值：