机器学习——特征工程之核化线性降维KPCA

一、前言

1、 线性降维的假设：从高维空间到低维空间的函数映射是线性的

2、 然而，现实任务中大多数可能需要非线性映射才能找到恰当的低维嵌入

3、 低维嵌入：低维（“本真”）空间样本点采样后以某种分布嵌入（映射）到高维空间中

二、KPCA原理

1、 非线性降维常用方法之一：基于核技巧对线性降维方法进行“核化”

2、 PCA求解目标： 

    a)  是样本点  在高维特征空间中的像

    b) 简化得 

3、 假定  是由原始属性空间中的样本点  通过映射  产生

    a) 

    b) 

    c) 引入核函数 

    d) 化简后得  ，其中K为  对应的核矩阵，  ， 

4、 新样本  ，其投影后的第j维坐标为  （计算开销较大）