LSH的思想:
LSH算法基于一个假设,如果两个文本在原有的数据空间是相似的,那么分别经过哈希函数转换以后的它们也具有很高的相似度
用途:
主要用于大数据规模时,计算两两之间的相似度
为什么要用LSH:
我们经常会遇到的一个问题就是面临着海量的高维数据,查找最近邻。如果使用线性查找,那么对于低维数据效率尚可,而对于高维数据,就显得非常耗时了。为了解决这样的问题,人们设计了一种特殊的hash函数,使得2个相似度很高的数据以较高的概率映射成同一个hash值,而令2个相似度很低的数据以极低的概率映射成同一个hash值。我们把这样的函数,叫做LSH(局部敏感哈希)
其参考连接:
https://zhuanlan.zhihu.com/p/46164294
大规模数据的相似度计算:LSH算法
最新推荐文章于 2024-11-24 15:41:31 发布