简明KPCA及其python实现（核主成分分析）

source：python machine learning 3rd

KPCA

核主成分分析-kernel principal component analysis，是一种用于非线性分类的降维工具，实现非线性映射降维

右图为典型的非线性分类问题

面对这样的分类问题，KPCA其实是先采用增加多项式等方式提高了数据的维度，再使用标准PCA，寻找一个可以进行有效分类的方向进行投影降维。

但是在进行PCA运算时，我们使用近似核心方程处理协方差矩阵，不再进行特征矩阵和特征值的计算（减少计算量），从而直接获得近似的投影后坐标，这与近似核心方程再SVM中的作用是一样的（不清楚背后的数学原理，考研时补好高数线代概率论再回来看吧。。。）

KPCA， PCA与LDA

• PCA：主要用于线性非监督学习（监督学习也可以）的数据降维
• LDA：主要用于线性监督学习的数据降维
• KPCA：得益于PCA非监督及监督学习通吃的特性，KPCA适用于几乎所有的非监督/监督非线性分类问题

核心方程

是否了解用于SVM非线性问题中的核心方程？这里的核心同样代表着使用核心方程实现非线性转换的意思，包括：

• 多项式核心: $$\kappa \left(x^{(i)},x^{(j)}\right)={\left(x^{(i{)}^T}{x}^{(j)}+\theta \right)}^p$$
• 双曲正切核心: $$\kappa \left({\mathbf{x}}^{(i)},{\mathbf{x}}^{(j)}\right)=\tanh \left(\eta {\mathbf{x}}^{(i{)}^T}{\mathbf{x}}^{(j)}+\theta \right)$$
• 高斯核心(RBF): $$\kappa (\mathbf{x}$$