Julia 主成分分析PCA
前言
最近在添补之前埋下的坑,学习和实践机器学习。master阶段以李航的《统计学习》为基础,做了一部分机器学习工作。近来以周志华《机器学习》为参考,系统性的学习下机器学习,主要使用python的sklearn库。再者,结合Julia语言练习一下Julia编程。
PCA 主成分分析的思路
PCA利用样本矩阵的特征值,对样本的属性进行降维。原理不表了,大家随处可搜到。步骤参考西瓜书[1]。
- 1.计算样本的协方差矩阵
- 2.对协方差矩阵求解特征值和特征向量
- 3.找到大于设定门限的占优的 k k k个特征值 ∑ i k λ i ∑ i λ i \dfrac{\sum_{i}^{k}\lambda_{i}}{\sum_{i}^{}\lambda_{i}} ∑iλi∑ikλi
- 4.最终,得到占优特征值的特征向量矩阵
1.实现样本属性的协方差矩阵
假设共有 m m m个样本,每个样本具有 n n n个属性,即是:样本 X i