核PCA投影平面公式推导

样本方差推导

样本方差公式\[S = \frac{1}{n-1}\sum_{i=1}^n(x_i-\mu_i)^2\]

扩展开来得到\[S = \frac{1}{n-1}[(X-\frac{1}{n}X^TI_nI_n^T)^T(X-\frac{1}{n}X^TI_nI_n^T)]\]

\[S = \frac{1}{n-1}X^T(I_n - \frac{1}{n}I_nI_n^T)(I_n - \frac{1}{n}I_nI_n^T)X\]

\(H = I_n - \frac{1}{n}I_nI_n^T\)\[S = \frac{1}{n-1}X^THX\]

其中H为等幂矩阵HH=H和中心矩阵\(H_n*I_n = 0\)

核PCA推导

核函数:设X是输入空间(\(R^n\)的子集或离散子集),又F为特征空间(希尔伯特空间),如果存在一个从X到F的隐射\[\phi (X):X -> F\]使得对所有x,z\in X,函数K(x,z)满足条件\[K(x,z) = \phi (x)\bullet \phi (z)\]

下面推导F投影到的主成分定义的平面,根据F样本方差的特征值分解得(为推导方便去掉前面的(\(\frac{1}{n-1}\))\[F^THFV_i = \lambda _i V_i\]由于H为等逆矩阵,则\[F^THHFV_i = \lambda _i V_i\]

由于想得到F很难,我们换一种思路将求F转移求K上,根据AA^T与A^TA的关系:非零特质值相同,得到\[HFF^THU_i = \lambda _iU_i \]

两边同时乘以\(F^TH\)得到\[F^THHFF^THU_i = \lambda _iF^THU_i\]

从上式可以得到\(F^THU_i\)\(F^THHF\)的特征向量

\(F^THU_i\)进行归一化\[U_{normal} = \frac{F^THU_i}{{||U_i^THFF^THU_i||}_2}\]

由于\(HFF^TH = HKH = \lambda _i\),则\[U_{normal} = \lambda ^{-\frac{1}{2}}F^THU_i\]

F投影到\(U_normal\)定义的平面\[P = F_{center} U_{normal}\]

\[P= (F-\frac{1}{n}\sum_{i=1}^nF_i)(\lambda ^{-\frac{1}{2}}F^THU_i)\]

\[P= (F-\frac{1}{n}F^TI_n)(\lambda ^{-\frac{1}{2}}F^THU_i)\]

\[P= \lambda ^{-\frac{1}{2}}(K - \frac{1}{n}K(x,x_i))HU_i\]

转载于:https://www.cnblogs.com/xiaobingqianrui/p/10749685.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值