[机器学习] 第三章 线性模型 2.特征抽取——LDA线性判别分析（Linear Discriminate Analysis）

参考：https://blog.csdn.net/weixin_40604987/article/details/79615968

特征抽取： 降维 到一个新的特征子空间，压缩数据并尽可能保留信息。

1. 线性判别分析 Linear Discriminate Analysis, LDA
LDA 可以提高数据分析过程中的计算效率，对于不适用与正则化的模型，可以降低因维度灾难带来的过拟合。

如图所示，在x轴方向，通过线性判定，可以很好的将呈正态分布的两个类分开。
虽然 沿y轴方向 的线性判定保持了数据集的较大方差，但是无法提供关于类别区分的任何信息，因此它不是一个好的线性判定。
2.算法
思想：给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影尽可能接近，异类样例的投影点尽可能远离；在对新的样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。