本文最后更新于2014年11月8日,已超过 1 年没有更新,如果文章内容失效,还请反馈给我,谢谢!
用Python计算文本的相似度
因为后期会需要用到这方面的知识,所以先提前准备准备;如何判断网页返回内容的相似度?
找到了几个Python的方法和库:
还有高大上的“TF-IDF方法”{之前在《数学之美》中看到过,但这里我就不考虑了}
下面主要记录用不同的Python库来计算两段文本之间的相似度(最后要得到的就是一个百分比):
方法一:difflib
>>> import difflib
>>> difflib.SequenceMatcher(None, 'abcde', 'abcde').ratio()
1.0
>>> difflib.SequenceMatcher(None, 'abcde', 'zbcde').ratio()
0.80000000000000004
>>> difflib.SequenceMatcher(None, 'abcde', 'zyzzy').ratio()
0.0
方法二:Levenshtein
import Levenshtein 报错:ImportError: No module named Levenshtein
于是去:python-Levenshtein 下载源码进行安装(在http://www.lfd.uci.edu/~gohlke/pythonlibs/#python-levenshtein 其实也有编译好的exe),第一次安