线性判别分析：从数学本质到认知升维

2301_77250778

已于 2025-03-22 23:26:59 修改

阅读量803

点赞数 14

文章标签：信息可视化

于 2025-03-22 23:24:40 首次发布

本文链接：https://blog.csdn.net/2301_77250778/article/details/146448638

版权

一、核心思想的重构认知

线性判别分析（LDA）的数学之美在于其用简洁的线性代数语言构建了一个多维空间的最优投影框架。其核心思想可以解构为两个对立统一的优化目标：

类内紧致性：通过计算类内协方差矩阵的加权平均，将同类样本的协方差结构压缩到投影后的低维空间中。数学表达式为：
Sw=∑i=1c∑x∈Xi(x−μi)(x−μi)TSw=∑i=1c∑x∈Xi(x−μi)(x−μi)T
这一过程实际上是在度量各类样本的"自我相似性"。
类间分离度：通过计算类中心与全局中心的距离矩阵，将类别差异显式地编码到目标函数中：
Sb=∑i=1cNi(μi−μ)(μi−μ)TSb=∑i=1cNi(μi−μ)(μi−μ)T
其中每个类的权重NiNi暗含了数据分布的先验信息。

这两个目标的动态平衡最终转化为广义瑞利商的优化问题：
J(w)=wTSbwwTSwwJ(w)=wTSwwwTSbw
其解的本质是寻找一个能够最大程度保持类别区分信息的特征子空间。

二、数学本质的深度挖掘

在求解过程中，拉格朗日乘数法的应用揭示了问题的高维几何本质。当SwSw可逆时，最优投影方向w∗w∗满足：
Sw−1Sbw=λwSw−1Sbw=λw
这实际上将原问题转化为寻找Sw−1SbSw−1Sb的主特征向量的过程。值得注意的是，矩阵Sw−1SbSw−1Sb的秩受到类别数的严格限制，对于c类问题，其最大非零特征值个数为c-1，这决定了LDA降维的上限。

对于多分类情形，投影矩阵W∈Rd×(c−1)W∈Rd×(c−1)的构造需要特别注意特征向量的正交性约束。此时目标函数拓展为：
J(W)=tr(WTSbW)tr(WTSwW)J(W)=tr(WTSwW)tr(WTSbW)
通过同时对角化SbSb和SwSw，可以得到最优投影子空间。

三、与PCA的对比认知升维

与主成分分析（PCA）的对比揭示了两者在哲学层面的根本差异：

维度	LDA	PCA
监督性	显式利用类别标签	无监督
优化目标	最大化类间差异/类内差异	最大化投影方差
数据假设	高斯分布、同方差假设	无分布假设
特征方向	判别信息最大的方向	方差最大的方向
应用场景	分类任务的特征降维	数据可视化、去噪

这种对比启示我们：在监督学习场景中，LDA通过注入类别信息，能够比PCA更有效地提取判别特征。但当类别信息不可靠或数据分布严重偏离高斯假设时，需要谨慎使用。

四、算法局限的突破思考

小样本问题：当样本维度d远大于样本数n时，SwSw会出现奇异。此时可通过正则化方法改进：
Swreg=Sw+λISwreg=Sw+λI
或采用伪逆方法。更本质的解决方案是引入流形学习思想，将LDA拓展到非线性空间。
非线性扩展：通过核技巧将LDA映射到再生核希尔伯特空间（RKHS），得到核判别分析（KDA）：
J(α)=αTKSbφKααTKSwφKαJ(α)=αTKSwφKααTKSbφKα
其中K为核矩阵，SbφSbφ和SwφSwφ是特征空间中的散度矩阵。
异方差处理：对于各类协方差矩阵不等的情况，可引入二次判别分析（QDA），但需警惕过拟合风险。折中方案是正则化判别分析（RDA），在偏差和方差间寻求平衡。