文本分析系列——基于相似哈希信息指纹的文本相似度算法

        曾经使用这个算法进行文章查重的应用（日常排查100w篇左右），以下只是整个计算的原理和过程，计算的效率 更多是根据编程语言和架构决定，并不是本文关注的重点。

计算原理：

        布隆过滤原理，不多解释，看百科吧：http://baike.baidu.com/link?url=nAPkTtMtrb8kI-ZSare68S3SJ-p4sMs28RYerkgDzs2-0IBC4aEvMxFJQiARvj1L6DRbm5q-yr8euv2jH_P2xa

文本相似度计算：

        将布隆过滤的计算原型，转换成文本相似度计算，关键在于提取文本的信息特征，形成文本的指纹，最后根据指纹的相似度进行最终的判断。

        文本信息特征：