主成分分析经常被用做模型分类时特征的降维,本篇首先介绍PCA的步骤,并根据步骤撰写对应的MATLAB代码,最后指明使用PCA的步骤。
我们在做分类时,希望提取的特征能够最大化将数据分开,如果数据很紧密,模型就比较难将其分开,如果数据比较离散,那么就比较容易分开,换句话说,数据越离散,越容易分开。
那怎么让数据离散呢?离散又用什么指标衡量呢?
统计学的知识告诉我们,数据越离散,方差越大。
因此,PCA的问题就变为:寻找一个坐标轴,使得数据在该坐标轴上面离散度最高。也就是寻找一个基使得所有数据在这个基上面的投影值的方差最大。
那具体怎么做呢?科学家们已经帮我们做好了,如下步骤:
设有m个样本,每个样本有n个特征,组成m行n列的矩阵
1)将每一列特征进行均值化处理,特征归一化,也称为数据中心平移到坐标原点
2)求取协方差矩阵
3)求取协方差矩阵的特征值和特征向量
4)将特征向量按对应特征值大小从上到下按行排列成矩阵,取前K列组成系数矩阵
matlab代码
function [coffMatrix,lowData,eigValSort,explained,meanValue] = myPCA(data)
%data为row行col列矩阵,row为样本数量,col为特征列,每一列代表一个特征
[row , col] = size(data);
% 求出每一列的均值
meanValue = mean(da