FE之DR之线性降维：PCA/白化、LDA算法的数学知识(协方差矩阵)、相关论文、算法骤、代码实现、案例应用等相关配图之详细攻略

FE之DR之线性降维：PCA/白化、LDA算法的数学知识(协方差矩阵)、相关论文、算法骤、代码实现、案例应用等相关配图之详细攻略

 

 

目录

PCA

1、PCA的数学知识

1、协方差矩阵计算

2、PCA算法相关论文

3、PCA算法三步骤

第一步，计算矩阵 X的样本的协方差矩阵S

第二步，计算协方差矩阵C的特征向量和特征值

第三步，投影数据到特征向量张成的空间之中

4、PCA四大应用

5、PCA/FCA对比LDA

白化

1、PCA白化

2、ZCA白化=PCA白化+操作(换到原来坐标系下坐标)

LDA

1、LDA算法相关论文、主要思路

1、LDA搞不定的四种情况

2、LDA分类的基本思想

2、LDA算法过程

3、LDA算法代码实现

1、LDA算法的应用——iris数据集的LDA分类

---

 

 

PCA

1、PCA的数学知识

(1)、实对称矩阵特征向量的正交性：实对称阵的特征值一定是实数；不同特征值对应的特征向量一定正交；重数为r的特征值一定有r个线性无关的特征向量。

(2)、协方差矩阵：样本矩阵的协方差矩阵必然一定是对称阵，协方差矩阵的元素即各个特征间相关性的度量。
1)、正常的协方差矩阵应该是去均值化。