机器学习-LDA

1 讲讲LDA

https://www.nowcoder.com/discuss/199755

一种监督学习的降维技术，与PCA不同的是，PCA是寻找数据集中方差最大的方向作为主成分分量的轴，而LDA 是最优化分类的特征子空间。

LDA 的思想：投影后类内方差最小，类间方差最大。

与PCA的对比：

可以看出如果是PCA的话，为了方差最大化，会投影到左边，LDA会选择投影到下面。

LDA的优缺点：

优点：1 可以使用类别的先验知识

2 以标签，类别衡量差异性的有监督降维方式，相对于PCA 的模糊性，其目的更明确，更能反映样本间的差异

缺点：

1 LDA 不适合对非高斯分布的样本进行降维

2 LDA 降维最多将到k-1 维

3 LDA在样本分类信息依赖方差而不是均值时，降维效果不好

4 LDA 可能过度拟合数据

https://www.jianshu.com/p/c365e818331b