(一)三维点云课程---Kernel PCA介绍

Kernel PCA介绍

经过上面PCA的介绍，发现PCA是个好东西，但是仔细分析发现PCA是线性，对于下面的情况，PCA就没有办法：

此时需要将数据先通过核函数转换到一个新的空间，也就是升维过程，然后再利用PCA进行降维处理。

1.推导过程

1.输入数据$x_i\in R^{n_0}$ ,存在一个非线性函数映射$$\varphi :R^{n_0}\to R^{n_1}$$,其实就是升维过程
2.按照线性PCA的过程，对$R^{n_1}$进行PCA操作

• 2.1假设$\varphi (x_i)$总是零中心
  $$\frac{1}{N}\sum _{i=1}^N\varphi (x_i)=0$$

• 2.2计算协方差矩阵

$$\tilde{H}=\frac{1}{N}\sum _{i=1}^N\varphi (x_i){\varphi }^T(x_i)$$

• 2.3计算协方差矩阵的特征值和特征向量
  $$\tilde{H}\tilde{z}=\tilde{\lambda }\tilde{z}$$
  上述过程看似很简单,但是还是有一些问题,第一个就是怎么确定上述的非线性函数$\varphi$;第二个怎么避免高维数据的运算。

通过2.2和2.3可以推出
$$\tilde{H}\tilde{z}=\frac{1}{N}\sum _{i=1}^N\varphi (x_i){\varphi }^T(x_i)\tilde{z}=\tilde{\lambda }\tilde{z}$$

因为$\frac{{\varphi }^T(x_i)\tilde{z}}{\tilde{\lambda }N}$是常数，故
$$\tilde{z}=\sum _{i=1}^N\varphi (x_i)\frac{{\varphi }^T(x_i)\tilde{z}}{\tilde{\lambda }N}=\sum _{j=1}^N{\alpha }_j\varphi (x_j)$$

发现求解特征向量$\tilde{z}$可以转化为求解一系列系数${\alpha }_j$和一个非线性函数$\varphi (x)$

---

1.1求解${\alpha }_j$

再次利用$\tilde{H}\tilde{z}=\tilde{\lambda }\tilde{z}$，以及上式$\tilde{z}$的信息，可以得出
$$\begin{gathered} \frac{1}{N}\sum _{i=1}^N\varphi (x_i){\varphi }^T(x_i)(\sum _{j=1}^N{\alpha }_j\varphi (x_j))=\overline{\lambda }\sum _{j=1}^N{\alpha }_j\varphi (x_j) \\ \frac{1}{N}\sum _{i=1}^N\varphi (x_i)(\sum _{j=1}^N{\alpha }_j{\varphi }^T(x_i)\varphi (x_j))=\overline{\lambda }\sum _{j=1}^N{\alpha }_j\varphi (x_j) \end{gathered}$$
定义核函数$k(x_i,x_j)={\varphi }^T(x_i)\varphi (x_j)$,那么上式化简为
$$\frac{1}{N}\sum _{i=1}^N\varphi (x_i)(\sum _{j=1}^N{\alpha }_{j}k(x_i,x_j))=\overline{\lambda }\sum _{j=1}^N{\alpha }_j\varphi (x_j)$$
两边同时乘以${\varphi }^T(x_k)$,k=1,2…,N,化简得
$$\begin{gathered} \frac{1}{N}\sum _{i=1}^N{\varphi }^T(x_k)\varphi (x_i)(\sum _{j=1}^N{\alpha }_{j}k(x_i,x_j))=\overline{\lambda }\sum _{j=1}^N{\alpha }_j{\varphi }^T(x_k)\varphi (x_j) \\ \frac{1}{N}\sum _{i=1}^{N}k(x_k,x_i)\sum _{j=1}^N{\alpha }_{j}k(x_i,x_j))=\overline{\lambda }\sum _{j=1}^N{\alpha }_{j}k(x_k,x_j),k=1,....,N \end{gathered}$$
进而得代数形式
$$\sum _{i=1}^N\sum _{j=1}^N{\alpha }_{j}k(x_k,x_i)k(x_i,x_j))=N\overline{\lambda }\sum _{j=1}^N{\alpha }_{j}k(x_k,x_j),k=1,....,N$$
现在定义核矩阵$K\in R^{n\times n},K(i,j)=k(x_i,x_j)$,K是对称矩阵

通过将代数形式变为矩阵形式,思考一下怎么变形的？其实也要用到k=1,2,…,N这个信息，将每种k情况进行展开，然后在合并。
$$K^2\alpha =N\tilde{\lambda }K\alpha$$
化简得
$$\begin{gathered} K\alpha =N\tilde{\lambda }\alpha \\ 令N\tilde{\lambda }=\lambda \\ K\alpha =\lambda \alpha \end{gathered}$$
对上式进行特征值分解，可以得到特征向量${\alpha }_{\gamma }$和特征值${\lambda }_{\gamma },\gamma =1,...,l$

但是$\tilde{z}$是个单位向量，而如果令${\alpha }_j={\alpha }_{\gamma }$,就不能保证这个性质了。于是归一化单位向量$\tilde{z}$
$$\begin{gathered} 1={\tilde{z}}_{\gamma }^T{\tilde{z}}_{\gamma } \\ 1=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_{{\gamma }_i}{\alpha }_{{\gamma }_j}{\varphi }^T(x_i)\varphi (x_j)=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_{{\gamma }_i}{\alpha }_{{\gamma }_j}k(x_i,k_j) \end{gathered}$$
写成矩阵形式,z证明见附录
$$1={\alpha }_{\gamma }^{T}K{\alpha }_{\gamma }$$
因为$K\alpha =\lambda \alpha$,所以上式
$${\alpha }_{\gamma }^T{\alpha }_{\gamma }=\frac{1}{{\lambda }_{\gamma }}$$

于是我们只要对求出的${\alpha }_{\gamma }$类似归一化就是${\alpha }_j$,那么怎么进行类似归一化呢，详见附录

---

1.2 求解非线性函数$\varphi (x)$

因为非线性函数$\varphi (x)$不能直接求出,那么特征向量$\tilde{z}$就不能直接求出。但是我们并不需要特征向量的直接信息，因为我们最终会将数据重新投影到特征向量$\tilde{z}$上，那么
$$y_r={\varphi }^T(x){\tilde{z}}_{\gamma }=\sum _{j=1}^N{\alpha }_{\gamma j}{\varphi }^T(x)\varphi (x_j)=\sum _{j=1}^N{\alpha }_{\gamma j}k(x,x_j)$$
根据上式可以知道，我们只需要知道$\alpha $和核函数k即可求出投影后的${y_r}$

说了这么多核函数，核函数有以下几个形式

• 线性核函数:$k(x_i,x_j)=x_i^T{x}_j$

• 多项式核函数:$k(x_i,x_j)=(1+x_i^T{x}_j{)}^p$

• 高斯核函数:$k(x_i,x_j)=e^{-\beta ||x_i-x_j|{|}_2}$

• 拉普拉斯核函数:$k(x_i,x_j)=e^{-\beta ||x_i-x_j|{|}_1}$

关于核函数的选择，没有明确的方法，需要在实验中不停的尝试。

1.3注意点

在推导Kernel PCA自前，我们假设了$\varphi (x_i)$总是零中心，而实际的$\varphi (x_i)$并不是零中心，那么
$$\tilde{\varphi }(x_i)=\varphi (x_i)-\frac{1}{N}\sum _{j=1}^N\varphi (x_j)$$
那么单位化的核$\tilde{k}(x_i,x_j)$
$$\begin{gathered} \tilde{k}(x_i,x_j)={\tilde{\varphi }}_{x_i}^T\tilde{\varphi }(x_j) \\ =(\varphi (x_i)-\frac{1}{N}\sum _{k=1}^N\varphi (x_k){)}^T(\varphi (x_j)-\frac{1}{N}\sum _{l=1}^N\varphi (x_l)) \\ =k(x_i,x_j)-\frac{1}{N}\sum _{k=1}^{N}k(x_i,x_k)-\frac{1}{N}\sum _{k=1}^{N}k(x_j,x_k)+\frac{1}{N^2}\sum _{k=1}^N\sum _{l=1}^{N}k(x_k,x_l) \end{gathered}$$
转换成矩阵形式，具体证明参见附录
$$\tilde{K}=K-2T_{\frac{1}{N}}K+T_{\frac{1}{N}}K{T}_{\frac{1}{N}},其中T_{\frac{1}{N}}为N\times N的矩阵，矩阵中每一个元素均为1$$

---

2.Kernel PCA总结

• 选择一个核函数$k(x_i,x_j)$,计算核矩阵$K(i,j)=k(x_i,x_j)$

• 单位化K
  $$\tilde{K}=K-2T_{\frac{1}{N}}K+T_{\frac{1}{N}}K{T}_{\frac{1}{N}},其中T_{\frac{1}{N}}为N\times N的矩阵，矩阵中每一个元素均为1$$

• 求解$\tilde{K}$特征值和特征向量

  $$\tilde{K}{\alpha }_{\gamma }={\lambda }_{\gamma }{\alpha }_{\gamma }$$

• 单位化${\alpha }_{\gamma }^T{\alpha }_{\gamma }=\frac{1}{{\lambda }_{\gamma }}$

• 将任意的点$x\in R^n$计算其投影到$r^{th}$的主成分$y_r\in R$
  $$y_r={\varphi }^T(x){\tilde{z}}_{\gamma }=\sum _{j=1}^N{\alpha }_{\gamma j}{\varphi }^T(x)\varphi (x_j)=\sum _{j=1}^N{\alpha }_{\gamma j}k(x,x_j)$$

---

附录

1.证明

$$代数形式\iff \sum _{i=1}^N\sum _{j=1}^N{\alpha }_{{\gamma }_i}{\alpha }_{{\gamma }_j}k(x_i,k_j)={\alpha }_{\gamma }^{T}K{\alpha }_{\gamma }\iff 矩阵形式$$

证明如下

先展开求和公式
$$\sum _{i=1}^N\sum _{j=1}^N{\alpha }_{{\gamma }_i}{\alpha }_{{\gamma }_j}k(x_i,k_j)={\alpha }_{\gamma 1}({\alpha }_{\gamma 1}k(x_1,k_1)+{\alpha }_{\gamma 2}k(x_1,k_2)+...+{\alpha }_{\gamma N}k(x_1,k_N))+{\alpha }_{\gamma 2}({\alpha }_{\gamma 1}k(x_1,k_1)+{\alpha }_{\gamma 2}k(x_1,k_2)+...+{\alpha }_{\gamma N}k(x_1,k_N))+...+{\alpha }_{\gamma N}({\alpha }_{\gamma 1}k(x_1,k_1)+{\alpha }_{\gamma 2}k(x_1,k_2)+...+{\alpha }_{\gamma N}k(x_1,k_N))$$
将后面的求和写成矩阵形式

$$\begin{gathered} 右式=\left[\begin{array}{cccc}{\alpha }_{\gamma 1}& {\alpha }_{\gamma 2}& ...& {\alpha }_{\gamma N}\end{array}\right]\left[\begin{array}{c}\left[\begin{array}{cccc}{\alpha }_{\gamma 1}& {\alpha }_{\gamma 2}& ...& {\alpha }_{\gamma N}\end{array}\right]\left[\begin{array}{c}k(x_1,x_1)\\ k(x_1,x_2)\\ ...\\ k(x_1{x}_N)\end{array}\right]\\ \left[\begin{array}{cccc}{\alpha }_{\gamma 1}& {\alpha }_{\gamma 2}& ...& {\alpha }_{\gamma N}\end{array}\right]\left[\begin{array}{c}k(x_2,x_1)\\ k(x_2,x_2)\\ ...\\ k(x_2{x}_N)\end{array}\right]\\ ...\\ \left[\begin{array}{cccc}{\alpha }_{\gamma 1}& {\alpha }_{\gamma 2}& ...& {\alpha }_{\gamma N}\end{array}\right]\left[\begin{array}{c}k(x_N,x_1)\\ k(x_N,x_2)\\ ...\\ k(x_N{x}_N)\end{array}\right]\end{array}\right] \\ =\left[\left[\begin{array}{cccc}{\alpha }_{\gamma 1}& {\alpha }_{\gamma 2}& ...& {\alpha }_{\gamma N}\end{array}\right]\right]\left[\begin{array}{cccc}k(x_1,x_1)& k(x_1,x_2)& ...& k(x_1,x_N)\\ k(x_2,x_1)& k(x_2,x_2)& ...& k(x_2,x_N)\\ ...& ...& ...& ...\\ k(x_N,x_1)& k(x_N,x_2)& ...& k(x_N,x_N)\end{array}\right]\left[\begin{array}{c}{\alpha }_{\gamma 1}\\ {\alpha }_{\gamma 2}\\ ...\\ {\alpha }_{\gamma N}\end{array}\right] \\ =\alpha {\gamma }^{T}K{\alpha }_{\gamma } \end{gathered}$$

---

2 类似归一化的推导

已知
$${\alpha }_{\gamma }^T{\alpha }_{\gamma }=\frac{1}{{\lambda }_{\gamma }}$$
因为${\alpha }_{\gamma }=[x_1,x_2,...,x_N{]}^T$,它本身并没有归一化，即${\alpha }_{\gamma }^T{\alpha }_{\gamma }\ne \frac{1}{{\lambda }_{\gamma }}$,需要重新找到一个向量${\beta }_{\gamma }=[x_1^{\prime },x_2^{\prime },...,x_N^{\prime }]$满足${\beta }_{\gamma }^T{\beta }_{\gamma }=\frac{1}{{\lambda }_{\gamma }}$,并且满足以下条件，那么
$$\frac{{x^{\prime }}_1}{x_1}=\frac{{x^{\prime }}_2}{x_2}=...=\frac{{x^{\prime }}_N}{x_N}=k$$
综上所述：
$$\{\begin{array}{l}{\beta }_{\gamma }^T{\beta }_{\gamma }={{x^{\prime }}_1}^2+{{x^{\prime }}_2}^2+...+{{x^{\prime }}_N}^2=\frac{1}{{\lambda }_{\gamma }}\\ {x^{\prime }}_1=k{x}_1\\ {x^{\prime }}_2=k{x}_2\\ ...\\ {x^{\prime }}_N=k{x}_N\end{array}$$
进行求解
$$\{\begin{array}{l}{x^{\prime }}_1=\frac{x_1}{\sqrt{{\lambda }_{\gamma }({x_1}^2+{x_2}^2+...+{x_N}^2)}}\\ {x^{\prime }}_2=\frac{x_2}{\sqrt{{\lambda }_{\gamma }({x_1}^2+{x_2}^2+...+{x_N}^2)}}\\ ...\\ {x^{\prime }}_N=\frac{x_N}{\sqrt{{\lambda }_{\gamma }({x_1}^2+{x_2}^2+...+{x_N}^2)}}\end{array}$$
此时${\beta }_{\gamma }=[x_1^{\prime },x_2^{\prime },...,x_N^{\prime }]$就是类似归一化的结果${\alpha }_{\gamma }$。

---

3.证明

$$k(x_i,x_j)-\frac{1}{N}\sum _{k=1}^{N}k(x_i,x_k)-\frac{1}{N}\sum _{k=1}^{N}k(x_j,x_k)+\frac{1}{N^2}\sum _{k=1}^N\sum _{l=1}^{N}k(x_k,x_l)=K-2T_{\frac{1}{N}}K+T_{\frac{1}{N}}K{T}_{\frac{1}{N}}$$

先引入一个性质
$$\left[\begin{array}{ccc}{k}_{11}& k_{12}& k_{13}\\ k_{21}& k_{22}& k_{23}\\ k_{31}& k_{32}& k_{33}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]=\left[\begin{array}{ccc}{k}_{11}+k_{12}+k_{13}& k_{11}+k_{12}+k_{13}& k_{11}+k_{12}+k_{13}\\ k_{21}+k_{22}+k_{23}& k_{21}+k_{22}+k_{23}& k_{21}+k_{22}+k_{23}\\ k_{31}+k_{32}+k_{33}& k_{31}+k_{32}+k_{33}& k_{31}+k_{32}+k_{33}\end{array}\right]$$
即当一个矩阵K和1矩阵进行右乘时$K\ast 1$，得到的矩阵，每一行都是K矩阵对应那一行所有元素之和；同理可以得到，当进行左乘时$1\ast K$,得到的矩阵，每一列都是每一列都是K矩阵对应那一列所有元素之和；当进行$1\ast K\ast 1$,矩阵的每一个元素均是原先K矩阵所有元素之和。

通过以上性质，将左式的求和公式展开，即：
$$\begin{gathered} \frac{1}{N}\sum _{k=1}^{N}k(x_i,x_k)\to K\ast \frac{1}{N}矩阵 \\ \frac{1}{N}\sum _{k=1}^{N}k(x_j,x_k)\to \frac{1}{N}矩阵\ast K \\ \frac{1}{N^2}\sum _{k=1}^N\sum _{l=1}^{N}k(x_k,x_l)\to \frac{1}{N}矩阵\ast K\ast \frac{1}{N}矩阵 \end{gathered}$$
最后在合并即可，其中$\frac{1}{N}$矩阵表示$N\times N$，所有元素均为1的矩阵。