局部线性嵌入(LLE)

关于LLE可参考局部线性嵌入(LLE)原理总结。本文对上述博客中第三节LLE算法推导给出一些自己的理解。

LLE算法推导

对于LLE算法，我们首先要确定邻域大小的选择，即我们需要多少个邻域样本来线性表示某个样本。假设这个值为k。我们可以通过和KNN一样的思想通过距离度量比如欧式距离来选择某样本的k个最近邻。

在寻找到某个样本的$x_i$的k个最近邻之后我们就需要$x_i$找到和这k个最近邻之间的线性关系，也就是要找到线性关系的权重系数。找线性关系，这显然是一个回归问题。假设我们有m个n维样本 { x 1 , x 2 , . . . , x m } \{x_1,x_2,...,x_m\} {x1​,x2​,...,xm​},我们可以用均方差作为回归问题的损失函数：即：
$$J(w)=\sum _{i=1}^m||x_i-\sum _{j\in Q(i)}{w}_{ij}{x}_j|{|}_2^2$$
其中，$Q(i)$表示$i$的k个近邻样本集合。一般我们也会对权重系数wij做归一化的限制，即权重系数需要满足
$$\sum _{j\in Q(i)}{w}_{ij}=1$$
也就是我们需要通过上面两个式子求出我们的权重系数。一般我们可以通过矩阵和拉格朗日子乘法来求解这个最优化问题。

对于第一个式子，我们先将其矩阵化：
$$\begin{array}{rl}J(W)& =\sum _{i=1}^m||x_i-\sum _{j\in Q(i)}{w}_{ij}{x}_j|{|}_2^2\\ & =\sum _{i=1}^m||\sum _{j\in Q(i)}{w}_{ij}{x}_i-\sum _{j\in Q(i)}{w}_{ij}{x}_j|{|}_2^2\\ & =\sum _{i=1}^m||\sum _{j\in Q(i)}{w}_{ij}(x_i-x_j)|{|}_2^2\\ & =\sum _{i=1}^m{W}_i^T{P}_i^T{P}_i{W}_i\end{array}$$
其中$W_i=(w_{i1},w_{i2},...w_{ik}{)}^T$，矩阵$P_i=[x_i-x_j],j\in Q(i)$。

令矩阵$Z_i=P_i^T{P}_i$，则第一个式子进一步简化为$J(W)=\sum _{i=1}^m{W}_i^T{Z}_i{W}_i$。对于第二个式子，我们可以矩阵化为：
$$\sum _{j\in Q(i)}{w}_{ij}=W_i^T{1}_k=1$$
其中$1_k$为k维全1向量。

现在我们将矩阵化的两个式子用拉格朗日子乘法合为一个优化目标：
$$L(W)=\sum _{i=1}^m{W}_i^T{Z}_i{W}_i+\lambda (W_i^T{1}_k-1)$$
对$W$求导并令其值为0，我们得到:
$$2Z_i{W}_i+\lambda 1_k=0$$
即
$$W_i={\lambda }^{\prime }{Z}_i^{-1}{1}_k$$
其中${\lambda }^{\prime }=-\frac{1}{2}\lambda$为一个常数。利用$W_i^T{1}_k=1$,对$W_i$归一化，那么最终我们的权重系数$W_i$为：
$$W_i=\frac{Z_i^{-1}{1}_k}{1_k^T{Z}_i^{-1}{1}_k}$$
现在我们得到了高维的权重系数，那么我们希望这些权重系数对应的线性关系在降维后的低维一样得到保持。假设我们的n维样本集 { x 1 , x 2 , . . . , x m } \{x_1,x_2,...,x_m\} {x1​,x2​,...,xm​}在低维的d维度对应投影为 { y 1 , y 2 , . . . , y m } \{y_1,y_2,...,y_m\} {y1​,y2​,...,ym​}，则我们希望保持线性关系，也就是希望对应的均方差损失函数最小，即最小化损失函数$J(Y)$如下：
$$J(Y)=\sum _{i=1}^m||y_i-\sum _{j=1}^k{w}_{ij}{y}_j|{|}_2^2$$
对于不在样本$x_i$邻域内的样本$x_j$，我们令对应的$w_{ij}=0$，这样可以把$w$扩展到整个数据集的维度。则有
$$J(Y)=\sum _{i=1}^m||y_i-\sum _{j=1}^m{w}_{ij}{y}_j|{|}_2^2$$
可以看到这个式子和我们在高维的损失函数几乎相同，唯一的区别是高维的式子中，高维数据已知，目标是求最小值对应的权重系数$W$,而我们在低维是权重系数$W$已知，求对应的低维数据。注意这里$W$的维数为$m\times m$，其中对应的列为权重，列和为1。

为了得到标准化的低维数据，一般我们也会加入约束条件如下：
$$\sum _{i=1}^m{y}_i=0;\frac{1}{m}\sum _{i=1}^m{y}_i{y}_i^T=I$$
首先我们将目标损失函数矩阵化：
$$\begin{array}{rl}J(Y)& =\sum _{i=1}^m||y_i-\sum _{j=1}^m{w}_{ij}{y}_j|{|}_2^2\\ & =\sum _{i=1}^m||Y{I}_i-Y{W}_i|{|}_2^2\\ & =tr(Y(I-W)(I-W{)}^T{Y}^T)\end{array}$$
其中$Y=[y_1,y_2,...,y_m]$，(6)式到(7)式利用的迹的性质
$$tr(AB)=tr(BA)$$
余下内容可见局部线性嵌入(LLE)原理总结