KPCA方法是一种非线性主元分析方法,主要思想:通过某种事先选择的非线性映射函数Ф将输入矢量X映射到一个高维线性特征空间F之中,然后在空间F中使用PCA方法计算主元成分,核主成分分析最主要是非线性映射函数Ф的选取。
核函数如下:
径向基核函数:
多项式核函:
Sigmoid核函数:
算法步骤:
Step 1. 数据标准化处理。
Step 2. 求核矩阵K,使用核函数来实现将原始数据由数据空间映射到特征空间。采用的核函数为径向基核函数,公式为:
Step 3. 中心化核矩阵Kc,用于修正核矩阵。公式为:
其中 为N×N的矩阵,每一个元素都为1/N
Step 4. 计算矩阵KC的特征值 ,对应的特征向量为 。特征值决定方差的大小
,也就是说特征值越大所蕴含的有用信息越多,因此按特征值降序排序得 ,特征向量相应调整 。
Step 5. 通过施密特正交化方法,正交化并单位化特征向量,得到 。
Step 6. 计算特征值的累计贡献率 ,根据给定的贡献率要求p,如果rt>p,则选取前t个主分量
,作为降维后的数据。