Incremental Kernel Principal Component Analysis 文章公式推导(一)KPCA公式

      在研三的这段时间里,一直研究论文的公式推导,整篇文章都是理论数学公式,啃起来实在费劲,经过多次研读,话说也不知道读了多少遍,消耗了多少脑细胞。华丽丽分割线---------------------------------------------------------------------------------

     本篇文章主要包含三大部分内核主成分(KPCA),增量内核主成分(IKPCA),压缩(RS)

(一)KPCA

     这部分主要是论文中的第三节KERNEL PCA FEATURE EXTRACTION

   1.  第一段主要介绍以后公式中的一些变量,M_{a:b,c:d}是指矩阵的行数是a行到b行,列数是c列到d列,I_{n}指n×n的单位矩阵,1_{r,c}指r×c的1矩阵,0_{n,c}指n×c的零矩阵

  2.首先获得一个数据矩阵a=[x_{1}...x_{n}]\in R^{m\times n}其中第i个向量x_{i}\in R^{m},经过向高维空间映射之后,A=[ \phi\left ( x_{1} \right )...\phi\left ( x_{n} \right )]

 3.我们对A减去均值进行中心化,均值\mu _{A}和中心化的数据\widehat{A}

                                          \mu _{A}=A(\frac{1}{n}1_{n,1})=A\nu

                                         \widehat{A}=A-\mu _{A}=A(I_{n}-\nu 1_{1,n})=A\nu ^{'}

4.计算核协方差矩阵M

                                         M=\widehat{A}^{T}\widehat{A}=(A\nu ')^{T}(A\nu ^{'})=(\nu ^{'})^{T}A^{T}A\nu ^{'}}

5.对M矩阵进行特征值分解

                                                   M=Q\Delta Q^{T}

6.\widehat{A}的r阶奇异值分解如下:

                                               \widehat{A}^{r}=[\widehat{A}Q^{r}(\Delta ^{r})^{\frac{-1}{2}}][(\Delta ^{r})^{\frac{1}{2}}][(Q^{r})^{T}]\equiv U^{r}\Sigma ^{r}(V^{r})^{T}

7.U^{r}是A的r阶主成分组成的,通过映射输入数据的线性扩展,定义以下公式:

                                                    U^{r}=A\nu^{'}Q^{r}(\Delta ^{r})^{\frac{-1}{2}}=A\alpha

8.当来新的数据b,可以认为数据在特征空间中核主成分上的正交投影系数为提取的非线性特征,我们中心化数据b,并进行核函数映射,B=\phi (b),投影到U^{r}上。

                  \beta =(U^{r})^{T}(B-\mu _{A})=(A\alpha )^{T}(B-A\nu )=\alpha ^{T}A^{T}(B-A\nu )=\alpha ^{T}A^{T}[A B]\binom{-\nu }{1}

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值