相似项发现（三）--LSH

四、文档的局部敏感哈希算法（LSH）

即使可以使用最小哈希将大文档压缩成小的签名并同时保持任意对文档之间的预期相似度，但是高效寻找具有最大相似度的文档对仍然是不可能的。主要原因在于，即使文档本身的数目并不是很大，但是需要比较的文档对的数目可能很大。

例如：假定有100万篇文档，每篇文档使用的签名的长度为250，则每篇文档需要250*4 bytes来表示签名。所有100万篇文档的签名数据占用1GB空间。这个数字小于普通台式机的内存大小。然而，有C2 20 即约5000亿个文档对需要比较。如果计算每两篇文档签名之间的相似度需要花费1微秒，那么这台计算机需要大约6天才能计算所有的相似度。

如果我们的目标是计算每对文档的相似度，那么即使采用并行机制来减小实耗时间，也没有办法来减少计算量。但是，实际中往往需要得到那些最相似或者相似度超过某个下界的文档对。如果是这样，我们只需要关注那些可能的相似对，而不需要研究所有的文档对。

目前对这类问题的处理存在着一个称为局部敏感哈希（locality-sensitive hashing, LSH）或邻近搜索(near-neighbor search)的一般性理论。

4.1 面向minhasing signature的LSH