PCA LDA用来干什么:数据降维,从高维到低维。
提取特征分量或者叫主成分分析。属于线性回归和拟合必备。
实例:比如淘宝,下单数和成交数分析。
1.PCA 最大化方差如何推出主成分?
实现步骤:1.1给定数据
1.2中心化
1.3投影坐标
1.4方差表示
1.5最大化问题
2.LDA
实现步骤:2.1点到超平面D的距离
2.2优化目标
2.3将距离展开
2.4优化目标
3.线性判别分析(有标签数据的降维和取特征值)
3.1定义均值
3.2投影后的距离
3.3投影后的方差
3.4目标函数
4.向量乘积
- PCA 最大化方差如何推出主成分?
实现步骤:
1.1给定数据
-
- 中心化
-
- 投影坐标
-
- 方差表示
-
- 最大化问题
2.LDA
实现步骤
2.1.点到超平面D的距离
2.2优化目标
2.3.将距离展开
2.4.优化目标
3. 线性判别分析 有标签数据的降维和取特征值
与PCA不同的地方:有监督的学习方法,考虑的是标签。如图所示就不适合PCA,投影到Y轴上会乱。
实现步骤;
3.1定义均值
3.2投影后的距离
3.3投影后的方差
3.4 目标函数
内内散度矩阵。
4.附:向量乘积