机器学习：Kernel PCA核主成分分析

1. kernel PCA 概述

核主成分分析（Kernelized PCA，KPCA）利用核技巧将d维线性不可分的输入空间映射到线性可分的高维特征空间中，然后对特征空间进行PCA降维，将维度降到d′ 维，并利用核技巧简化计算。也就是一个**先升维后降维【数据先通过核函数（kernel function）转换成一个新空间，也就是升维过程，然后再用PCA进行降维处理】**的过程，这里的维度满足d′<d<D

线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而在有些时候，高维空间是线性不可分的，需要找到一个非线性函数映射才能进行恰当的降维，这就是非线性降维。

KPCA就是一种非线性降维方法

2. KPCA的实施步骤

以 Radial Basis Function（RBF） kernel PCA（不同的核，体现在代码上仅仅是一处细微的差别）为例进行说明：

• 计算核矩阵***K***【相似度矩阵】
  
  这是最为常见的RBF（Rational Basis Function）核函数，也有多项式核：
  
  和sigmoid型（hyperbolic tangent）核：
  
  其矩阵形式也即：
  
• center the K
  
  其中 1n是 n×n 的元素值全为1/n矩阵
• 对 K′进行特征值分解，获得对应于前 k个特征值的特征向量。与标准PCA算法不同的是，这里获得特征向量不再是 principal component axes，而已经是全部样本在这些轴上的投影了，也即是我们所需的进行降维后的数据了。

3. Python实现KPCA与PCA

3.1 Case1：

import numpy as np
import matplotlib.pyplot as plt

#构建样本数据
A1_mean = [1, 1]
A1_cov = [[2, .99], [1, 1]]
A1 = np.random.multivariate_normal(A1_mean, A1_cov, 50)
A2_mean = [5, 5]
A2_cov = [[2, .99], [1, 1]]
A2 = np.random.multivariate_normal(A2_mean, A2_cov, 50)
A = np.vstack((A1, A2))
B_mean = [5, 0]
B_cov = [[.5, -1], [.9, -.5]]
B = np.random.multivariate_normal(B_mean, B_cov, 100