simhash算法

作用：专门用来解决亿万级别的网页的去重任务。主要分为5步：

1. 分词：对文章进行分词，得到有效的特征向量，为每个特征向量设一个1-5的权重（如果是给定一个文本，那么特征向量可以是文本中的词，其权重类似这个词的tf-idf值）
2. Hash：利用hash函数计算每个特征向量的hash值，hash值的类型是二进制数0和1组成的n-bit签名。
3. 加权：给所有特征向量的hash值进行加权，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘。例如给“CSDN”的hash值“100101”加权得到：W(CSDN) = 1001014 = 4 -4 -4 4 -4 4，给“博客”的hash值“101011”加权得到：W(博客)=101011*5 = 5 -5 5 -5 5 5，其余特征向量类似此般操作。
4. 合并：将上述各个特征向量的加权结果累加，变成只有一个序列串。拿前两个特征向量举例，例如“CSDN”的“4 -4 -4 4 -4 4”和“博客”的“5 -5 5 -5 5 5”进行累加，得到“4+5 -4±5 -4+5 4±5 -4+5 4+5”，得到“9 -9 1 -1 1”。
5. 降维：对于n-bit签名的累加结果，如果大于0则置1，否则置0，从而得到该语句的simhash值，最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度。例如把上面计算出来的“9 -9 1 -1 1 9”降维（某位大于0记为1，小于0记为0），得到的01串为：“1 0 1 0 1 1”，从而形成它们的simhash签名。
   海明距离的求法：两个01串做异或（两个比较的位不同为1 ，相同为0）得到1的个数即为海明距离的大小。