KPCA推导及理解

最近上课学到了KPCA，之前也有遇到过，但并没有进行详细了解，上课时老师讲的比较快，感觉糊里糊涂的，课后在网上找了一些资料进行学习，然后结合自己的理解进行了整理。

思路

KPCA和PCA一样也是进行降维，但区别在于KPCA处理的问题是非线性的。KPCA先将数据通过映射$\varphi$映射到高维空间，然后再将映射后的数据进行线性变换实现降维。
这个思路写得比较简略，大家可以先看后面的总结，有一个整体的印象，然后再进行阅读。

向高维空间映射

回顾PCA，我们知道PCA求解的最终问题是$X{X}^{T}W=\lambda W$（可以结合西瓜书相关章节进行复习）。
其中X为数据矩阵，每一列代表一个样本；W为降维时的线性变换矩阵，每个列向量w就是降维后的空间中的一个基向量（可以理解为直角坐标系下的坐标轴），基的个数决定了降维后数据的维数；$\lambda$为对角矩阵，对角线上的元素是$X{X}^T$的特征值。
我们在此基础上引入非线性映射$\varphi$，那么上面问题就可以转换为$\varphi (X)[\varphi (X){]}^{T}W=\lambda W$。
其中W=($w_1,w_2,...,w_m$)，我们任取其中一个基向量w，可得$\varphi (X)[\varphi (X){]}^{T}w=\lambda w$（1）。
注意我们通常并不直接定义$\varphi$（这在核技巧中会有提及），也就是说我们并不知道$\varphi (X)[\varphi (X){]}^T$的具体内容，因此不能向PCA那样直接对其进行特征值分解。

因为$\varphi (X)[\varphi (X){]}^T={\sum }_{i=1}^N\varphi (x_i)[\varphi (x_i){]}^T$，那么（1）可以进一步表示为
${\sum }_{i=1}^N\varphi (x_i)[\varphi (x_i){]}^{T}w=\lambda w$
⇒ w = 1 λ ∑ i = 1 N ϕ ( x i ) [ ϕ ( x i ) ] T w =