【算法】一个简单的线性判别分析（LDA）原理

基本思想

把所有样本都投影到一个方向上，然后在这个一维空间确定一个分类的阈值。
选择投影方向是类间尽可能远，类内尽可能近。
LDA主要被用于降维（定投影面）和分类（找分类点）

构建方法

多类问题

LDA通过n维数据定义了一个最优化的k-1个空间，能够最优的区分k个类（通过其在空间的投影）

LDA分类

一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。

LDA VS. PCA

当然，某些某些数据分布下PCA比LDA降维较优，如下图所示：

参考资料：https://www.cnblogs.com/pinard/p/6244265.html

猜你喜欢：👇🏻
⭐【算法】一个简单的主成分分析（PCA）原理
⭐【算法】一个简单的决策树（DT）原理
⭐【算法】一个简单的ISODATA原理