Kernel PCA and De-Noisingin Feature Spaces

Kernel PCA and De-Noisingin Feature Spaces

引

kernel PCA通过$k(x,y)$隐式地将样本由输入空间映射到高维空间$F$，那么问题来了，如何回来呢，即已知$\Phi (x)\in F$，如何找到其原像$x$呢？可是呢：

1. 这个问题不一定有解，因为从低维空间往高维空间映射往往不是满射；
2. 即便有解，这个也不一定唯一。

但是这个方面的应用还是蛮多的啊，PCA可以通过抛去一些方向(方差小的部分）来去噪声（虽然效果似乎不是很好），kernel PCA如果也要这么做的话，就会产生上面的问题。这篇文章就是提出了一种可行的方法来解决这个问题。

通过最小化下式：
$$\underset{z}{\min }\rho (z)=\Vert \Phi (z)-{\mathrm{P}}_n\Phi (x){\Vert }^2$$
其中${\mathrm{P}}_n(\cdot )$是投影算子——将向量投影至由前n个特征向量构成的子空间之中。

主要内容

在化简上式之前，需要先进行一些必要的符号说明：
$$V^k=\sum _{i=1}^l{\alpha }_i^k\Phi (x_i)$$
为第k个特征向量（F空间中的）,其中$l$为样本个数（沿用了论文的符号）。
定义：
$${\beta }_k=(V^k\cdot \Phi (x))=\sum _{i=1}^l{\alpha }_i^{k}k(x,x_i)$$
那么：
$${\mathrm{P}}_n\Phi (x)=\sum _{i=1}^n{\beta }_k{V}^k$$
现在，我们可以展开$\rho (z)$:

其中$\Omega$为与$z$无关的项，通过梯度下降可以获得$z$。

如果我们假设$k(x,y)=k(\Vert x-y{\Vert }^2)$，即$k(x,x)$为常数，则:

其中${\Omega }^{\prime }$为与$z$无关的项，${\gamma }_i={\sum }_{k=1}^n{\beta }_k{\alpha }_i^k$

容易计算其梯度为(差个常数2）：
$${\nabla }_z\rho (z)=\sum _{i=1}^l{\gamma }_i{k}^{\prime }(\Vert z-x_i\Vert )(z-x_i)$$
令其为0，得到一个必要条件：
$$z=\frac{\sum _{i=1}^l{\delta }_i{x}_i}{\sum _{i=1}^l{\delta }_i}$$
其中${\delta }_i={\gamma }_i{k}^{\prime }(\Vert z-x_i{|}^2$

一个例子就是高斯核，这时:

选取一个合适的起始点（分母不为0），可以通过下式来迭代：

这么来想，一般的迭代方法是：
$$z_{t+1}=z_t-\eta \nabla \rho (z_t)$$
令$\eta =1/{\sum }_{i=1}^l{\delta }_i$即可得（10），我不知道这么做是否有别的深意。