机器学习——线性分类之线性判别分析

线性判别分析定义

假设存在样本$X_{N\times p}$满足如下形式:

$$X={\left(x_1{x}_2...x_N\right)}^T={\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times p}={\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ⋮& ⋮& & ⋮\\ x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right)}_{N\times p}$$

存在样本$Y_{N\times 1}$满足如下形式：

$$Y={\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right)}_{N\times 1}$$

$X$和$Y$组成 { ( x i , y i ) } i = 1 N \left\{ \left( x_i,y_i\right) \right\}_{i=1}^{N} {(xi​,yi​)}i=1N​样式样本点，并且 X ∈ ℜ p , y i ∈ { + 1 , − 1 } X\in \real^p,y_i \in \left\{ +1,-1\right\} X∈ℜp,yi​∈{+1,−1}。
且有$N_1$ 个 x c 1 = { x i ∣ y i = + 1 } , x_{c1}=\left\{ x_i|y_i=+1 \right\}, xc1​={xi​∣yi​=+1},$N_2$ 个 x c 2 = { x i ∣ y i = − 1 } , N 1 + N 2 = N x_{c2}=\left\{ x_i|y_i=-1 \right\},N_1+N_2=N xc2​={xi​∣yi​=−1},N1​+N2​=N
线性判别分析具有类内小，类间大的特点，我们定义：

$$\begin{gathered} z={\omega }^T{x}_i \\ \bar{z}=\frac{1}{N}\sum _{i=1}^N{z}_i=\frac{1}{N}\sum _{i=1}^N{\omega }^T{x}_i \\ {S}_z=\sum _{i=1}^N(z_i-\bar{z})(z_i-\bar{z}{)}^T=\frac{1}{N}\sum _{i=1}^N({\omega }^T{x}_i-\sum _{i=1}^N{\omega }^T{x}_i)({\omega }^T{x}_i-\sum _{i=1}^N{\omega }^T{x}_i{)}^T \end{gathered}$$

那么对于$c_1,c_2$类，有：
$c1:$
$$\begin{gathered} \overline{z_1}=\frac{1}{N_1}\sum _{i=1}^{N_1}{\omega }^T{x}_i \\ {S}_{z1}=\frac{1}{N_1}\sum _{i=1}^{N_1}({\omega }^T{x}_i-\sum _{i=1}^{N_1}{\omega }^T{x}_i)({\omega }^T{x}_i-\sum _{i=1}^{N_1}{\omega }^T{x}_i{)}^T \end{gathered}$$

$c2:$
$$\begin{gathered} \overline{z_2}=\frac{1}{N_2}\sum _{i=1}^{N_2}{\omega }^T{x}_i \\ {S}_{z2}=\frac{1}{N_2}\sum _{i=1}^{N_2}({\omega }^T{x}_i-\sum _{i=1}^{N_2}{\omega }^T{x}_i)({\omega }^T{x}_i-\sum _{i=1}^{N_2}{\omega }^T{x}_i{)}^T \end{gathered}$$

线性判别分析具有类间小，类内大的特点，此处定义：

• 类间：$(\overline{z_1}-\overline{z_2}{)}^2$
• 类内：$S_{z1}+S_{z2}$

根据这一性质我们可构造损失函数：
$$J(\omega )=\frac{(\overline{z_1}-\overline{z_2}{)}^2}{S_1+S_2}$$
其中分子：
$$\begin{gathered} (\overline{z_1}-\overline{z_2}{)}^2=(\frac{1}{N_1}\sum _{i=1}^{N_1}{\omega }^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{\omega }^T{x}_i{)}^2 \\ ={\left\{{\omega }^T(\frac{1}{N_1}\sum _{i=1}^{N_1}{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{x}_i)\right\}}^2 \\ ={\omega }^T({\bar{x}}_{c1}-{\bar{x}}_{c2})({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^T\omega \end{gathered}$$
分母：
$$\begin{gathered} S_{z1}+S_{z2}=\frac{1}{N_1}\sum _{i=1}^{N_1}({\omega }^T{x}_i-\sum _{i=1}^{N_1}{\omega }^T{x}_i)({\omega }^T{x}_i-\sum _{i=1}^{N_1}{\omega }^T{x}_i{)}^T \\ +\frac{1}{N_2}\sum _{i=1}^{N_2}({\omega }^T{x}_i-\sum _{i=1}^{N_2}{\omega }^T{x}_i)({\omega }^T{x}_i-\sum _{i=1}^{N_2}{\omega }^T{x}_i{)}^T \end{gathered}$$
其中
$$\begin{gathered} S_{z1}=\frac{1}{N_1}\sum _{i=1}^{N_1}({\omega }^T{x}_i-\sum _{i=1}^{N_1}{\omega }^T{x}_i)({\omega }^T{x}_i-\sum _{i=1}^{N_1}{\omega }^T{x}_i{)}^T \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}{\omega }^T(x_i-\sum _{i=1}^{N_1}{x}_i)(x_i-\sum _{i=1}^{N_1}{x}_i{)}^T\omega \\ ={\omega }^T\left\{\frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-{\bar{x}}_{c1})(x_i-{\bar{x}}_{c1}{)}^T\right\}\omega \\ ={\omega }^T{S}_{c1}\omega \end{gathered}$$
同理：
$$S_{z2}={\omega }^T{S}_{c2}\omega$$
那么有：
$$S_{z1}+S_{z2}={\omega }^T(S_{c1}+S_{c2})\omega$$
综上所述：
$$J(\omega )=\frac{(\overline{z_1}-\overline{z_2}{)}^2}{S_{z1}+S_{z2}}=\frac{{\omega }^T({\bar{x}}_{c1}-{\bar{x}}_{c2})({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^T\omega }{{\omega }^T(S_{c1}+S_{c2})\omega }$$

线性判别分析模型求解

现求解$J(\omega )$，令：
$$\begin{gathered} S_b=({\bar{x}}_{c1}-{\bar{x}}_{c2})({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^{T}betweenclass类间 \\ {S}_w=(S_{c1}+S_{c2})withcalss类内 \end{gathered}$$
那么：
$$J(\omega )=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_w\omega }={\omega }^T{S}_b\omega ({\omega }^T{S}_w\omega {)}^{-1}$$
对以$\omega$对$J(\omega )$求导，得：
$$\frac{\partial J(\omega )}{\partial \omega }=S_b\omega ({\omega }^T{S}_w\omega {)}^{-1}-{\omega }^T{S}_b\omega ({\omega }^T{S}_w\omega {)}^{-2}{S}_w\omega =0$$
两边同乘以$({\omega }^T{S}_w\omega {)}^{-2}$，得
$$S_b\omega {\omega }^T{S}_w\omega ={\omega }^T{S}_b\omega S_w\omega$$
其中${\omega }^T{S}_w\omega$和${\omega }^T{S}_b\omega S_w$均为实数，可以变换至任意位置，所以有：
$$\begin{gathered} S_w\omega =S_b\omega \frac{{\omega }^T{S}_w\omega }{{\omega }^T{S}_b\omega } \\ \omega =\frac{{\omega }^T{S}_w\omega }{{\omega }^T{S}_b\omega }{S}_w^{-1}{S}_b\omega \propto S_w^{-1}{S}_b\omega \end{gathered}$$
继续代入：
$$\omega \propto S_w^{-1}({\bar{x}}_{c1}-{\bar{x}}_{c2})({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^T\omega$$
其中$({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^T\omega$为一维实数，$\omega$方向与此项无关，所以有：
$$\omega \propto S_w^{-1}({\bar{x}}_{c1}-{\bar{x}}_{c2})$$
如果假设$S_w^{-1}$为对角矩阵，并且满足各向同性，那么$S_w^{-1}\propto I$(单位矩阵)，此时：
$$\omega \propto ({\bar{x}}_{c1}-{\bar{x}}_{c2})$$
至此，关于模型参数$\omega$的方向求解完毕(假定$||\omega |{|}^2=1$)。

后记

LDA线性判别分析具有很大的局限性(日后补充局限性)，但它是一个非常具有代表性的分类方法，可以作为其他分类方法的性能基准。

参考资料

1、机器学习白板推导