前言
在上一节
已经详细地介绍了PCA的数学概念、数学原理,以及算法的推导过程。但是,光掌握这些是远远不够的,就像你拥有非常优秀的思想,无法表达出来也是白搭。就像我们掌握所有的数学原理,但无法将其通过合适工具运用到具体的例子上,那我们的所做从而失去了它原本的意义。因此,在这一节,我主要介绍利用matlab 机器学习的工具箱函数来对具体的例子实现PCV降维。
数据准备
load fisheriri %matlab 自带数据集——鸢尾花数据集
运行,查看数据集
从工作区看到有两个数据集,一个是means,大小为
150
×
4
150\times 4
150×4,有四个指标,分别是鸢尾花的萼片长度,萼片宽度,花瓣长度,花瓣宽度,150个样本
另一个数据集是species,大小为
150
×
1
150\times 1
150×1,分别代表3种鸢尾花
PCV降维实现
函数(1)
coeff = pca(meas)
meas为输入的原始数据,返回值 coeff 为主成分系数,就是协方差矩阵的特征向量,如果X为
150
×
4
150\times 4
150×4,则 coeff 为
4
×
4
4\times 4
4×4,每一列对应每一个特征的特征向量,若输入原始数据为 meas,则 coeff 如下
函数(2)
[coeff,score,latent] = pca(meas)
score 是对原始数据进行主成分分析后的打分,相当于换算到新坐标中的数据,score 矩阵将n 维数据按照贡献率由大到小排列,分别为第一主成分,第二主成分等
s
c
o
r
e
=
m
e
a
n
s
×
c
o
e
f
f
score=means\times coeff
score=means×coeff
则 score 矩阵大小为
15
×
4
15\times 4
15×4
latent 是主成分方差,也就是每个特征向量对应的特征值,从小到大排列
函数(3)
[coeff,score,latent,tsquared,explained] = pca(meas);
tsquared 为T-平方值,explained 为每一个主成分所贡献的比例,可以更直观的选择所选要降维的维数
可见第一主成分和第二主成分占97.8 % ,因此我们便可以选择选要降维的维数为2
现在我们就可对数据在前两个主成分中进行数据可视化
scatter(score(:,1),score(:,2))
xlabel('1st Principal Component')
ylabel('2nd Principal Component')
整体代码
代码虽然看似不多,但是每一句都值得细细品味,原因是我用了 machine learning Toolbox 的PCA函数,其中包含了大量的算法以及相关概念.
load fisheriris %
[coeff,score,latent,~,explained]=pca(meas);
scatter(score(:,1),score(:,2))
xlabel('1st Principal Component')
ylabel('2nd Principal Component')
总结
经过两节,PCA的算法介绍,数学推导,代码实现已全部完成,接下来我们就可以利用我们降维后的数据进行分类了
下一节,我将会在本节的基础上进行K means(聚类)算法的介绍和推导以及相关例子的演示.
如果还有问题,或需要探讨,请留言或联系本人。
Q
Q
:
2214564003
QQ:2214564003
QQ:2214564003
欢迎关注本人微信公众号: