曾经使用这个算法进行文章查重的应用(日常排查100w篇左右),以下只是整个计算的原理和过程,计算的效率 更多是根据编程语言和架构决定,并不是本文关注的重点。
计算原理:
布隆过滤原理,不多解释,看百科吧:http://baike.baidu.com/link?url=nAPkTtMtrb8kI-ZSare68S3SJ-p4sMs28RYerkgDzs2-0IBC4aEvMxFJQiARvj1L6DRbm5q-yr8euv2jH_P2xa
文本相似度计算:
将布隆过滤的计算原型,转换成文本相似度计算,关键在于提取文本的信息特征,形成文本的指纹,最后根据指纹的相似度进行最终的判断。
文本信息特征: