机器学习（3）——PCA（续）：The use of machine learning Toolbox function PCA

前言

在上一节

机器学习（2）——PCA（principal components analysis 主成分分析）降维

已经详细地介绍了PCA的数学概念、数学原理，以及算法的推导过程。但是，光掌握这些是远远不够的，就像你拥有非常优秀的思想，无法表达出来也是白搭。就像我们掌握所有的数学原理，但无法将其通过合适工具运用到具体的例子上，那我们的所做从而失去了它原本的意义。因此，在这一节，我主要介绍利用matlab 机器学习的工具箱函数来对具体的例子实现PCV降维。

数据准备

load fisheriri %matlab 自带数据集——鸢尾花数据集

运行，查看数据集

从工作区看到有两个数据集,一个是means,大小为$150\times 4$,有四个指标,分别是鸢尾花的萼片长度,萼片宽度,花瓣长度,花瓣宽度,150个样本

另一个数据集是species,大小为$150\times 1$,分别代表3种鸢尾花

PCV降维实现

函数(1)

coeff = pca(meas)

meas为输入的原始数据,返回值 coeff 为主成分系数,就是协方差矩阵的特征向量,如果X为$150\times 4$,则 coeff 为$4\times 4$,每一列对应每一个特征的特征向量,若输入原始数据为 meas,则 coeff 如下

函数(2)

[coeff,score,latent] = pca(meas)

score 是对原始数据进行主成分分析后的打分,相当于换算到新坐标中的数据,score 矩阵将n 维数据按照贡献率由大到小排列,分别为第一主成分,第二主成分等
$$score=means\times coeff$$
则 score 矩阵大小为$15\times 4$
latent 是主成分方差,也就是每个特征向量对应的特征值,从小到大排列

函数(3)

[coeff,score,latent,tsquared,explained] = pca(meas);

tsquared 为T-平方值,explained 为每一个主成分所贡献的比例,可以更直观的选择所选要降维的维数

可见第一主成分和第二主成分占97.8 % ,因此我们便可以选择选要降维的维数为2
现在我们就可对数据在前两个主成分中进行数据可视化

scatter(score(:,1),score(:,2))
xlabel('1st Principal Component')
ylabel('2nd Principal Component')

整体代码

代码虽然看似不多,但是每一句都值得细细品味,原因是我用了 machine learning Toolbox 的PCA函数,其中包含了大量的算法以及相关概念.

load fisheriris  % 
[coeff,score,latent,~,explained]=pca(meas);
scatter(score(:,1),score(:,2))
xlabel('1st Principal Component')
ylabel('2nd Principal Component')

总结

经过两节,PCA的算法介绍,数学推导,代码实现已全部完成,接下来我们就可以利用我们降维后的数据进行分类了
下一节,我将会在本节的基础上进行K means(聚类)算法的介绍和推导以及相关例子的演示.

如果还有问题，或需要探讨，请留言或联系本人。$$QQ:2214564003$$
欢迎关注本人微信公众号：