Kernel PCA
将样本空间推广到一般情况,借助从样本空间到特征Hilbert空间的特征映射,解决样本空间本身没有内积的情况。设
K:X×X→C
为核函数,
W
为特征Hilbert空间,
Φ:X→W
为特征映射。对给定的核函数
K
,特征对
按照PCA的几何解释,我们在特征空间
其中 Φ~(xi)=Φ(xi)−1n∑nj=1Φ(xj) 。记有界线性算子
则问题转为
谱分解与谱分解表示
此时
显然自伴随算子 T∗T∈B00(W)⊂B0(W) ,从而其有谱分解
其中
p≤n
,
{λi}pi=1⊂R++
为单调下降的正特征值,
{ui}pi=1⊂W
为对应单位正交特征向量。
将谱分解代回模型立得解
u∗=u1
,即
span{u1}
为
W
上最佳拟合中心化后样本特征
{Φ~(xi)}ni=1
的一维子空间,亦即
1n∑ni=1Φ(xi)+span{u1}
为
W
上最佳拟合样本特征
{Φ(xi)}ni=1
的一维流形。
此时任意
x∈X
在特征空间
W
中该一维流形上的表示为
其中第二部分
谱分解对应之SVD分解
上式第一部分似乎与特征对选择有关,然此时由谱分解,有
记
则有
记 U:=WΛ−12 , 则有
此即谱分解所对应核矩阵的SVD分解。能看出 U 矩阵每一列为对应样本特征在该主方向上的分解系数。反之,核矩阵的任意SVD分解均能导出对应之谱分解。
SVD分解下之表示
设核矩阵的SVD分解为
此时任意 x∈X 在特征空间 W 中该一维流形上的表示为
与特征对选取无关。