weixin_43325935的博客

原创 数据去重-相似检测经典算法：N-Transform，Finesse，Odess代码python实现

Odess与N_Transform相比，仅仅多了一个采样的步骤（原文中还提到了Gear Hashing，我觉得其和Rabin Fingerprint区别不大 ，不会影响到DCR，可能性能上会有所影响。b. N_Transform 使用的是Rabin Fingerprint(滚动哈希)，Minhash则是多种线性变化（哈希函数）a. N_Transform 用于数据块层面，Minhash则不一定。代码里出现的rabin为自己实现的，如果有需要可以私信我。），文章中却写了一大堆证明公式，看的我云里雾里。