[python] Levenshtein包与rapidfuzz包计算字符串编辑距离与相似度

1. Levenshtein包

1.1 计算编辑距离

三类编辑动作{替换, 删除, 插入}的cost均为1。
它等价于公式 d = l e n ( s t r 1 ) + l e n ( s t r 2 ) − s a m e l e n ( s t r 1 , s t r 2 ) d=len(str1)+len(str2)-samelen(str1, str2) d=len(str1)+len(str2)samelen(str1,str2)

>>> import Levenshtein
>>> Levenshtein.distance('lewenstein', 'levenshtein')
2 # w->v, ∅->h

1.2. 计算相似度

不同于1.1,此处编辑动作{删除, 插入}的cost仍为1、但{替换}的cost为2。分母是两个字符串长度之和,相似度的分子是两个字符串长度之和减去编辑动作cost之和。
它等价于公式 s i m = 1 − Σ ( c o s t ) / Σ ( l e n ) sim=1-\Sigma(cost)/\Sigma(len) sim=1Σ(cost)(len)

>>> Levenshtein.ratio('lewenstein', 'levenshtein')
0.8571 # w->v, ∅->h # 1-(2+1)/(10+11)

2. rapidfuzz包

2.1 Indel

  • 计算编辑距离
    编辑动作{删除, 插入}的cost为1,{替换}的cost为2。
>>> from rapidfuzz.distance import Indel
>>> Indel.distance('lewenstein', 'levenshtein')
3
  • 计算相似度
    编辑动作{删除, 插入}的cost为1,{替换}的cost为2。分母是两个字符串长度之和,相似度的分子是两个字符串长度之和减去编辑动作cost之和。
    它与1.2的Levenshtein.ratio公式相同。
>>> Indel.normalized_similarity('lewenstein', 'levenshtein')
0.8571 # 1-3/(11+10)

2.2 Levenshtein

  • 计算编辑距离
    三类编辑动作{替换, 删除, 插入}的cost均为1。
    它与1.1的Levenshtein.distance公式相同。
>>> from rapidfuzz.distance import Levenshtein
>>> Levenshtein.distance('lewenstein', 'levenshtein')
2
  • 计算相似度
    三类编辑动作{替换, 删除, 插入}的cost均为1。分母是两个字符串长度较大值,相似度的分子是两个字符串长度较大值减去编辑动作cost之和。
>>> Levenshtein.normalized_similarity('lewenstein', 'levenshtein')
0.8182 # 1- 2/11
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中有多种方法可以计算字符串相似度。其中一种常用的方法是基于字符串的距离计算字符串的距离可以通过比较两个字符串之间的差异来衡量它们的相似程度。 一种常见的字符串距离度量方法是编辑距离编辑距离衡量了将一个字符串转换为另一个字符串所需的最少操作次数,括插入、删除和替换字符。Python中可以使用Damerau-Levenshtein算法计算编辑距离。 另一种计算字符串相似度的方法是基于n-gram的方法。n-gram是将字符串划分为长度为n的连续子串的方法。通过比较两个字符串的n-gram的相似性,可以计算它们之间的相似度。 在计算字符串相似度时,还可以使用归一化方法来将相似度范围从0到1进行归一化。一种常见的归一化方法是将字符串距离除以字符串的最大可能距离。 综上所述,Python计算字符串相似度的方法编辑距离、n-gram相似性和归一化。你可以根据具体的需求选择适合的方法来计算字符串相似度。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [一个使用 Python 实现不同字符串相似度和距离度量的库_python_代码_下载](https://download.csdn.net/download/qq_38334677/86034921)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [python实现字符串余弦相似度算法](https://blog.csdn.net/weixin_39875842/article/details/110766815)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值