LDA(线性判别分析)学习总结

LDA是一种有监督的降维和分类算法，其主要思想是投影后类内方差最小，类间方差最大。

二分类情况

类间离散度定义为：
$$({\tilde{\mu }}_1-{\tilde{\mu }}_2{)}^2=(w^T{\mu }_1-w^T{\mu }_2{)}^2=w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w=w^T{S}_{B}w$$
其中$S_B$为类间离散度矩阵
类内离散度定义为：
$$\begin{gathered} S_i=\sum _{x\in w_i}(x-{\mu }_i)(x-{\mu }_i{)}^T \\ {S}_w=S_1+S_2 \end{gathered}$$
$S_w$w为类内离散度矩阵
则LDA的度量公式为：
$$J(w)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}$$
找到使$J(w)$最大的$w$即可。

令$\Vert w^T{S}_{w}w\Vert =1$，加入拉格朗日乘子后求导化简得：
$$w=S_w^{-1}({\mu }_1-{\mu }_2)$$

多分类情况

类内离散度矩阵不变，类间类散度矩阵变为：
$$S_B=\sum _{i=1}^N{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$
是带权重得各类样本中心到全样本中心得散列矩阵。
目标函数为：
$$J(w)=\frac{W^T{S}_{B}W}{W^T{S}_{w}W}$$
和二分类一样，固定分母为1，求导化简之后得到：
$$\lambda W=S_w^{-1}{S}_{B}W$$
最后归结为求矩阵得特征值。首先求出$S_w^{-1}{S}_B$得特征值，然后取前k个特征向量组成W矩阵即可。特征值大的对应的特征向量分割性能最好。

由于$S_w^{-1}{S}_B$不一定是对称阵，因此得到的k个特征向量不一定正交，这也是和PCA不同的地方。

Notation:
LDA不适合对非高斯分布样本进行降维；
在样本分类信息中依赖方差而不是均值；
可能会过度拟合数据。