西瓜书第3章之LDA

3.3.1 LDA(线性判别分析-----二分类)

给定训练集，将样本投影到一条直线上，使得投影后的异类样本尽可能远离$$argmax(||w^T{u}_0-w^T{u}_1||)$$同类样本尽可能靠近
$$argmin(w^T\sum _{0}w+w^T\sum _{1}w)$$使得对新样本进行分类时，对其投影到这条直线上，根据投影位置确定类别。其中$X_i,u_i,{\sum }_i分别表示示例集合、均值向量、协方差矩阵。$
即$$\begin{gathered} J=\frac{||w^T{u}_0-w^T{u}_1|{|}^2}{w^T{\sum }_{0}w+w^T{\sum }_{1}w} \\ =\frac{w^T(u_0-u_1)(u_0-u_1{)}^{T}w}{w^T({\sum }_0+{\sum }_1)w} \end{gathered}$$
定义类内散度矩阵
$$\begin{gathered} 令S_w=\sum _0+\sum _1 \\ =\sum _{x\in X_0}(x-u_0)(x-u_0{)}^T+\sum _{x\in X_1}(x-u_1)(x-u_1{)}^T \end{gathered}$$
定义类间散度矩阵
$$令S_b=(u_0-u_1)(u_0-u_1{)}^T$$
则目标为确定J最大时w的值$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
令$w^T{S}_{w}w=1$原式变为$$min(-w^T{S}_{b}w)$$$$s.t.w^T{S}_{w}w=1$$
根据拉格朗日乘子式可得$$J=-w^T{S}_{b}w+\lambda (w^T{S}_{w}w-1)$$
$$\begin{gathered} \frac{\partial J}{\partial w}=0 \\ {S}_{b}w=\lambda S_{w}w \\ (u_0-u_1)(u_0-u_1{)}^{T}w=\lambda S_{w}w \end{gathered}$$因为$(u_0-u_1{)}^{T}w$为常数，设为${\lambda }_w$得$$(u_0-u_1){\lambda }_w=\lambda S_{w}w$$常数$\lambda {\lambda }_w只是对w的放大或缩小，所以删掉得$
$$w^{\ast }=S_w^{-1}(u_0-u_1)$$
若存在$S_w$不可逆，则利用奇异值分解（SVD）来求得。

3.3.2 LDA(多分类问题)

对于多分类的问题，$m_i$表示第i类样本的个数。μ 为所有样本的样本均值，而$u_i$则表示第i类样本的样本均值。此时我们得到的都是矩阵而不再是二分类的实数。类间散度矩阵：$$S_b=\sum _{i=1}^N{m}_i(u_i-u)(u_i-u{)}^T$$类内散度矩阵：$$S_w=\sum _{i=1}^N\sum _{x\in X_i}(x-u_i)(x-u_i{)}^T$$
优化目标为$$J_{max}=\frac{|W^T{S}_{b}W|}{|W^T{S}_{w}W|}$$或$$J_{max}=\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}$$
参照二分类求解，可转化为$$\begin{gathered} S_{b}W=\lambda S_{w}W \\ \lambda =S_w^{-1}{S}_b \end{gathered}$$
$$\begin{gathered} W^{\ast }=J_{max}=\frac{|W^T{S}_{b}W|}{|W^T{S}_{w}W|} \\ =\frac{|W^T\lambda S_{w}W|}{|W^T{S}_{w}W|} \\ =\lambda \end{gathered}$$
$$S_b=\sum _{i=1}^N{m}_i(u_i-u)(u_i-u{)}^T$$
可以看出，$S_b$是K个秩一矩阵$(m_k-m)(m_k-m{)}^T$的和（因为$(m_k-m)$是秩一的向量），所以它的秩最大为K。并$Nm=N_1{m}_1+N_2{m}_2+\dots +N_k{m}_k$,这K项中有一项可以被线性表出。 所以,$S_b$的秩最大为K-1。
所以参数W的值闭式解为矩阵$S_{\omega }^{-1}{S}_b$的d个最大特征值所对应的特征向量，其中d<=c-1。因为特征向量的个数通常要远远少于原有数据特征的个数，因此线性判别分析也被视为一种经典的监督降维技术。

可参考教科书上的LDA为什么长这个样子？