泛统计理论初探——线性判别分析LDA简介

统计学习-线性判别分析方法简介

线性判别分析方法简介
LDA是常见的降维算法，全称是Linear Discriminant Analysis，即线性判别分析。这种方法和主成分分析法都是一种降维的方法，区别在于主成分分析方法是无监督方法，而LDA是一种有监督的方法。LDA的核心思想其实是将数据进行映射，把之前分布的数据映射为一簇一簇的数据，使得一簇数据内部的数据距离尽量的小，而一簇数据与另一簇数据之间的距离尽可能的大。
线性判别分析（LDA）方法在使用的效果上还是不错的，可以使得原有的变量信息得以汇总，在处理问卷或者一些经济问题的时候，一般来说变量会很多，如果使用线性判别分析方法先进行尝试，当降维的结果符合使用者要求的时候可以使用LDA，由于这是一种有监督的降维方法，所以数据的选取将会直接影响线性判别函数的生成，从而影响降维的结果，这是使用者需要注意的一点。

值得注意的是，线性判别分析方法和PCA主成分分析方法除了在最开始讲到的有监督和无监督的区别之外，还存在其他的两个细节上的区别。第一点，线性判别分析的降维是有限制的，即最多降低到N-1的维度，比如原有类别是6类，而通过线性判别分析降维后最多降低到5维。而对于PCA主成分分析方法是没有限制的，使用者降维到1维都可以。第二点