如何使用局部敏感哈希(LSH)算法进行特征降维?

这篇博客只关注局部敏感哈希的降维过程，也不涉及理论证明。

1. 局部敏感哈希算法

1.1 算法简介

  传统的哈希(Hashing)算法通过映射函数将记录的存储位置与记录的关键字关联起来，实现记录的快速查找。所以传统哈希算法的关键是要避免碰撞冲突，尽可能保证每一个记录经过哈希函数的映射可以得到不同的结果。
  局部敏感哈希(Locality-Sensitive Hashing,LSH)算法的基本思想是让在原始数据空间中距离比较近的点经过哈希运算后，有较大的概率发生碰撞。换句话说，局部敏感哈希要求将原始数据空间中相似或者近邻的样本点，经过同样的投影变换或映射之后，在低维的数据空间中相邻的概率依然很大，而且不相邻的数据点在新映射的低维空间中相似的概率很低。局部敏感哈希主要用于高维海量数据的快速近似查找问题。

1.2 算法过程

  局部敏感哈希算法的整个流程如下图。但是这篇博客并不关注整个敏感哈希过程，这里只关注从points到生成signature矩阵的过程。signature矩阵即可以理解为原始高维数据降维之后的结果。如果需要了解整个算法流程，可以自行查找资料。

  为了得到signatures矩阵，这里需要设计合适的哈希函数。这种哈希函数必须满足以下特性：
(1) $d(x,y)\le d_1\Rightarrow p(f(x)=f(y))\ge p_1$
(2) $d(x,y)\ge d_2\Rightarrow p(f(x)=f(y))\le p_2$
(3) $d_1\le d_2,p_1\ge p_2$
其中$d(x,y)$是$x$和$y$之间的距离；$d_1,d2$为距离阈值；$h(x)$和$h(y)$是$x$和$y$的哈希表。符合上述特性的函数称为$(d_1,d_2,p_1,p_2)$哈希敏感函数。

2 常用局部敏感哈希函数库

  主要介绍几种不同距离度量下的敏感哈希函数库。

2.1 汉明距离

  将欧式空间中的数据点通过哈希函数族$H$转化到汉明向量空间。具体地，将在欧式空间中的$d$维数据集$P$中的点映射到汉明向量空间$H^{d^{{}^{\prime }}}$中，其中$d^{{}^{\prime }}=Cd$，其中$C$为集合$P$中的坐标值的最大值，$d$为数据点的维度。所以$P$中的任意一点$p=(x_1,x_2,\dots ,x_d)$嵌入到汉明空间的坐标为：$$v(p)=Unar{y}_c(x_1)Unar{y}_c(x_2)\dots Unar{y}_c(x_d)$$$Unar{y}_c(x)$是一串长度为$C$的二进制表示的汉明码，其前$x$位置为1，后$C-x$位置为0。
  汉明空间下常用的哈希函数$h$的定义如下：$$h_r(p)=\{\begin{array}{ll}0,& \text{若v(p)的第r位为0}\\ 1,& \text{若v(p)的第r位为1}\end{array}$$其中$r$是一个从1到$d^{{}^{\prime }}$之间产生服从均匀分布的随机整数。但是这种方法只用于整数且只有M(坐标的最大值)值较小的时候。
  举例假设存在如下4个点$A,B,C,D$,其欧式空间中的坐标如下图所示，经转化变成6维汉明空间向量，通过哈希函数都转化成4维向量。

  降维之前的相似度：$sim(A,B)=sim(A,C)=\frac{5}{6}=0.83，sim(A,D)=\frac{3}{6}=0.5,sim(B,C)=sim(B,D)=sim(C,D)=\frac{4}{6}=0.66$
  降维之后的相似度：$sim(A,B)=0.75,sim(A,C)=1,sim(A,D)=0.5,sim(B,C)=0.75,sim(B,D)=0.75,sim(C,D)=0.5$

2.2 jaccard距离(Min-hash函数)

  Broder等人提出了一种基于jaccard距离的LSH函数族，其定义如下：设$U$表示元素总集，$P$表示$U$的排列，$P(i)$表示$P$的第$i$个元素。在排列$P$的条件下集合$D\subseteq U$的Minhash定义为： h p ( D ) = m i n ( { i ∣ 1 ≤ i ≤ ∣ U ∣ ∧ P ( i ) ∈ D } ) h_{p}(D)=min(\{i|1\leq i\leq |U| \wedge P(i) \in D\}) hp​(D)=min({i∣1≤i≤∣U∣∧P(i)∈D})  举例假设有如下3个集合$A,B,C$,总集$U$及各个集合中的元素如下图，$P1,P2,P3,P4$为从$U$中随机产生的排列。将$A,B,C$转化为欧式空间中的6维向量，进过minhash函数转化成4维向量。

  降维之前各个点之间的jaccard相似度为：$sim(A,B)=0.6,sim(A,C)=0.33,sim(B,C)=0.6$。
  降维之后各个点之间的相似度为：$sim(A,B)=0.5,sim(A,C)=0.25,sim(B,C)=0.75$。

2.3 $L_S$距离

  以上两种类型的函数只能处理特殊类型的数据，Datar等人提出了一种可以泛化到任意实数空间$R^d$上基于$L_S$距离的LSH函数族$h_{r,b}=floor((rx+b)/w)$，其中$b\in [0,w)，w>>d$，$r\in R^d$可以从s-stable分布中随机选取映射向量$r$。$floor(\cdot )$为向下取整函数(所以这个会将所有实数向量转化为整数向量)。这里要求的稳定分布需要满足$s\in [0,2)$。
  形式化地，$s$稳定分布的定义如下：对于数据集$R$中的任意$n$个数据$v_1,v_2,\dots ,v_n$，并且有$X_1,X_2,\dots ,X_n$服从独立同分布$D$;如果存在$s\ge 0$，使得随机变量${\sum }_i{v}_i{X}_i$和$({\sum }_i|v_i{|}^p{)}^{\frac{1}{p}}$服从同一分布，则称该分布为$s$-稳定分布。最典型的稳定分布如下：
  当$s=1$时，有柯西分布，其概率密度函数$c(x)=\frac{1}{\pi (1+x^2)}$。
  当$s=2$时，有高斯分布，其概率密度函数为$g(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$。