LDA线性判别分析的原理推导与Python实现

LDA（Linear Discriminant Analysis）是一种有监督的分类算法，他常常被用来做数据与处理中的降维或者分类任务

目的
LDA的目标是找出能够最大化类间区分度的坐标轴成分将特征空间（数据集中的多维样本）投影到一个维度更小的k维子空间中，同时保持区分类别的信息

原理
将原始数据投影到维度更低的空间中，使得投影后的点会形成按照类别区分，一簇一簇的情况，相同类别的店，将会在投影后的空间中更接近

与PCA区别
首先LDA是有监督的，此外，最大的区别是LDA计算的是另一类特定的方向，更关心分类而不是方差

目标函数的导出
LDA的目标是找出 $y=w^{T}x$ 中的$w$，即投影方向

LDA分类器的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好，所以需要计算类内和类间的距离

每一类样本的均值为$${\mu }_i=\frac{1}{N_i}\sum _{x\in {\omega }_i}x$$
投影后，每一类样本均值变为$${\tilde{\mu }}_{\mathrm{i}}=\frac{1}{N_i}\sum _{y\in {\omega }_i}y=\frac{1}{N_i}\sum _{x\in {\omega }_i}{w}^{T}x=w^T{\mu }_i$$要使得投影后的两类样本中心点尽量分离，设定$$\mathrm{J}(\mathrm{w})=|\widetilde{{\mu }_1}-\widetilde{{\mu }_2}|=\left|w^T\left({\mu }_1-{\mu }_2\right)\right|$$但是只让$\mathrm{J}(\mathrm{w})$最大只可以达到类间距离尽可能大，无法实现类内距离尽可能小，所以定义 s ~ i 2 = ∑ y ∈ ω i ( y − μ ~ i ) 2 \tilde{s}_{i}^{2}=\sum_{y \in \omega_{i}}\left(y-\tilde{\mu}_{i}\right)^{2} s~i2​=y<