pca 到核PCA ---------

•During training data, there are some questions, such as, noise and rotation, redundancy, less number of samples.

üPCA is an orthogonal

     transformation of the

     coordinate system.

üThe principal components

     correspond to the largest k

     eigenvectors.

üA nonlinear form of PCA


在学习PCA(参见A tutorial on Principal Components Analysis---2002 Smith 和A tutorial on principal component analysis--2014)的时候,了解了PCA是一种能够提取数据中线性信息的一种方法,是基于坐标的映射转换,能够通过少量的属性来表征原始的样本数据,实现降维,广泛应用于计算机视觉、图像压缩中。

PCA是基于方差理论的求解或者说优化,也可以说是能量(可以证明),在求解最小均方误差的时候,还是需要求解方向,有点困难。但是基于最小二乘理论是可以完成的。

在实际的应用过程中,我们处理的数据很复杂,极有可能不是线性的,或者是信息的非线性相关性很强,或者不符合高斯分布,这时候我们使用PCA就可能不能得到理想的效果,需要考虑其他能够表征数据的本质特征的更好的方法,比如ICA, kernel PCA 等等

kernal PCA 是在处理数据之前,将数据进行映射,转换到特征空间F上去求解,其实虽然维数可能是升高了,但实际是对 非线性信息进行了线性提取,能够在高维空间进行 线性表示,然后出去这种线性表示的数据的 冗余,达到降维的目的(参见kernel principal component analysis)

在这个过程中引入了核函数,但是核函数这个矩阵怎么和原始的PCA的协方差矩阵联系,有点困惑?
尤其是对于多项式核函数,这个映射是怎么能够求解显示表达的?


的关系?



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值