线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）

判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。

本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。由于QDA和RDA是相关技术，我不久将描述它们的主要属性以及如何在R中使用它们。

线性判别分析

LDA是一种分类和降维技术，可以从两个角度进行解释。第一个是解释是概率性的，第二个是更多的程序解释，归功于费舍尔。第一种解释对于理解LDA的假设是有用的。第二种解释可以更好地理解LDA如何降低维数。

  

费舍尔的解释

Fisher的LDA优化标准规定组的质心应尽可能分散。这相当于找到一个线性组合ž= aŤXZ=aTX，使得aTaT相对于类内方差的类间方差最大化。

如前所述，类内方差是WW被汇集的协方差矩阵Σ^Σ^，这表明从它们的类质心的所有观察的偏差。如前所述，根据质心与总体平均值的偏差来定义类间方差。对于ZZ，类方差之间是aTBaaTBa与类内方差是一个Ťw ^一个ATWa。因此，可以通过瑞利商来优化LDA

 

 

它定义了XX到新空间ZZ的最佳映射。需要注意的是Z∈R1×pZ∈R1×p，即，观测被映射到单个维度。为了获得额外的维度，我们需要解决的最优化问题的a1,…,aK−1a1,…,aK−1，其中每个连续akak构造是在正交WW以前的判别坐标。这导致线性变换G=(ZT1,ZT2,…,ZTK−1)∈Rp×qG=(Z1T,Z2T,…,ZK−1T)∈Rp×q，使我们可以从映射pp到qq经由尺寸XGXG。为什么我们考虑K−1K−1预测？这是因为由KK质心跨越的仿射子空间具有至多K−1K−1的等级。

 

降低LDA

LDA在缩小的子空间中执行分类。在执行分类时，我们不需要使用所有K−1K−1维度，而是可以选择较小的子空间HlHl其中l<K−1l<K−1。当使用l<K−1l<K−1，这称为降阶LDA。降级LDA的动机是，基于减少数量的判别变量的分类可以在模型过度拟合时提高测试集的性能。

LDA模型的复杂性

LDA的有效参数的数量可以通过以下方式导出。有KK手段μ^kμ^k被估计。协方差矩阵不需要额外的参数，因为它已经由质心定义。由于我们需要估计KK判别函数（以获得判定边界），这就产生了涉及p个元素的KK计算。另外，我们有ķ-1为自由参数ķ前科。因此，有效LDA参数的数量是Kp+（K-1）。 

LDA摘要

在这里，我总结了LDA的两个观点，并总结了该模型的主要特性。

概率论

LDA使用贝叶斯规则来确定观察xx属于kk类的后验概率。由于LDA的正常假设，后验由多元高斯定义，其协方差矩阵假定对于所有类是相同的。新的点通过计算判别函数分类δkδk（后验概率的枚举器）并返回类kk具有最大δkδk。判别变量可以通过类内和类间方差的特征分解来获得。

费舍尔的观点

根据Fisher，LDA可以理解为降维技术，其中每个连续变换是正交的并且相对于类内方差最大化类间方差。此过程将特征空间转换为具有K−1K−1维度的仿射空间。在对输入数据进行扩展之后，可以通过在考虑类先验的情况下确定仿射空间中的最接近的质心来对新点进行分类。

LDA的特性

LDA具有以下属性：

• LDA假设数据是高斯数据。更具体地说，它假定所有类共享相同的协方差矩阵。
• LDA在K−1K−1维子空间中找到线性决策边界。因此，如果自变量之间存在高阶相互作用，则不适合。
• LDA非常适合于多类问题，但是当类分布不平衡时应该小心使用，因为根据观察到的计数来估计先验。因此，观察很少被分类为不常见的类别。
• 与PCA类似，LDA可用作降维技术。请注意，LDA的转换本质上与PCA不同，因为LDA是一种考虑结果的监督方法。

音素数据集

为了举例说明线性判别分析，我们将使用音素语音识别数据集。该数据集对于展示判别分析很有用，因为它涉及五种不同的结果。

<span style="color:#000000"><span style="color:#000000"><code><strong>library</strong>(RCurl)
f <- getURL(<span style="color:#880000">'https://www.datascienceblog.net/data-sets/phoneme.csv'</span>)
df <- read.csv(textConnection(f), header=<span style="color:#78a960">T</span>)
print(dim(df))</code></span></span>