PCA的一点理解

PCA通常用来对特征降维。比如一个2000维的特征，我们通过pca降到100维等。

PCA的原理是协方差矩阵。

怎么理解呢？

比如，我们对一个目标提取了一些特征，我们说是A特征，和B特征吧

但实际上呢，A特征和B特征是很相似的，保留一个就可以。那么怎么筛选呢？

我们取A和B的协方差。如何值很大，说明彼此的相似度很小，反之则很大。

我们保留大的，去掉小的，就算作是PCA降维度了。

我们这么举例：

有100个特征向量是10维的样本。上面说了PCA是求特征直接的相似度，所以我们需要求的是特征的协方差

计算后我们有了一个10*10的协方差矩阵。

下面就是本科学的线性代数了，对矩阵求特征值和特征向量。

特征值大，表示对应为之的特征差异性大，我们保留。反之可以根据情况删除。

加入这里我们取特征值大的7个特征，对应的特征向量就是10*7的矩阵。

之后我们用100*10的数据与10*7的矩阵相乘，结果就是降维后的特征。

这个阈值是需要我们人为设定的。

给大家一个matlab代码：

%pca function
function [PCA,W] = MakePca(x,threshold)

%x is the feature
%threshold is the thresold 


data = x;
data = data-repmat(mean(data,2),1,size(data,2));
[W, EvalueMatrix] = eig(cov(data));
Evalues = diag(EvalueMatrix);
Evalues = Evalues(end:-1:threshold);
W = W(:,end:-1:threshold);
%W = W'; 
PCA = data*W;