PCA 算法 原理解析

原创 2013年12月04日 15:31:11

目前,pca算法已经广泛应用于各方面,就拿图像处理,经常做的一件事就是当提取的图像特征维度比较高时,为了简化计算量以及储存空间,需要对这些高维数据进行一定程度上的降维,并尽量保证数据的不失真。

 

先举个例子,方便理解:

    1)对于一个训练集,100个sample(i=1,2,3,...,100),特征Xi是20维.[Xi1,Xi2,Xi3,...Xij,...,Xi20](j=1,2,..,20),那么它可以建立一个20*100的样本矩阵M。

    2)紧接着我们开始求这个样本的协方差矩阵,得到一个20*20的协方差矩阵,计算过程如下:

            •先求解出Xi的平均Xav=(∑xi)/20;

            •对每一个Xi,计算Xi-Xav,即Mi(第 i 行)变为 Mi-Xav,记为Mn;

            •则容易得到协方差矩阵Z为Mn*Mn'( ' 表示转置 ) 。

    3)然后求出这个协方差矩阵Z20x20的特征值和特征向量,一般情况下应该有20个特征值和特征向量,现在根据特征值的大小,取出较大的特征值以及其所对应的特征向量,(假设提取的特征值为较大的5个特征值),那么这5个特征向量就会构成一个20*5的矩阵V,这个矩阵就是我们要求的特征矩阵。

    4)用Mn'去乘以V,得到一个base矩阵(*),大小为100x5。

    5)任取一个样本1x100,乘上这个100*5的特征矩阵,就得到了一个1*5的新的样本,显然每个sample的维数下降了,然后再用这个1x5向量去比较相似性。

 

注:

›上述3)过程中特征值的选取在不确定具体要降到多少维的情况下,一般还可以根据n个特征值之和大于总和的90%进行选取。

›上面的(*)处base矩阵的求解不唯一,也可以自行修正。


最后,说下PCA的缺点:PCA将所有的样本(特征向量集合)作为一个整体对待,去寻找一个均方误差最小意义下的最优线性映射投影,而忽略了类别属性,而它所忽略的投影方向有可能刚好包含了重要的可分性信息



相关文章推荐

主成成分分析pca算法 原理解析

目前,pca算法已经广泛应用于各方面,就拿图像处理,经常做的一件事就是当提取的图像特征维度比较高时,为了简化计算量以及储存空间,需要对这些高维数据进行一定程度上的降维,并尽量保证数据的不失真。   ...

PCA算法的原理及其示例

  • 2012年06月22日 15:44
  • 132KB
  • 下载

机器学习算法笔记系列之深入理解主成分分析PCA-原理篇

机器学习算法笔记系列之深入理解PCA-原理篇(未完待续) 作者:shizhixin 博客:http://blog.csdn.net/shizhixin 微博:http://weibo....

PCA数学原理及算法实现

先总结一下PCA的算法步骤: 设有m条n维数据。(行为feature,列为示例) 1)将原始数据按列组成n行m列矩阵X 2)将X的每一行(代表一个属性字段)进行零均值化,即减去这一行...

PCA原理以及算法实现

一.算法介绍PCA(Princiapal Component Analysis),主成分分析,是统计数据分析、特征提取和数据压缩的经典方法,起源于Pearson的早期工作。实际上,PCA主要作用就是将...

PCA算法原理简介

PCA ( Principal Component Analysis , PCA )是主成分分析,主要 用于数据降维,对于一系列例子的特征组成的多维向量,多维向量里的某些元素本身没有区分性,比如某个元...

PCA算法学习——计算特征脸及人脸识别原理

PCA算法应用到人脸识别的简单例子。

PCA(Principal Component Analysis)的原理、算法步骤和实现。

PCA的原理介绍:          PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可...

PCA算法原理与详细注解

http://blog.codinglabs.org/articles/pca-tutorial.html 这篇博文非常详细的介绍了PCA算法的过程,但对数学基础较薄弱人来说,看的有些费劲。本篇博文从...
  • xinzhi8
  • xinzhi8
  • 2017年06月05日 15:50
  • 169

PCA算法人脸识别小结--原理到实现

近段时间学习提取图像特征的算法,研究了一下PCA(主成分分析)算法,用PCA实现了人脸识别,做个小结。  以下是关于PCA算法原理理解较有帮助的资料(关于PCA的资料很多,我觉得看以下的足够了): 1...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:PCA 算法 原理解析
举报原因:
原因补充:

(最多只允许输入30个字)