机器学习-白板推导 P4_3 (线性判别分析)_^s$jsd7sbld^ -- uewl1yrgu2a

本文链接：https://blog.csdn.net/qq_28404829/article/details/100598429

机器学习-白板推导 P4_3

线性判别分析（Fisher判别分析）

线性判别分析（Fisher判别分析）

数据定义

$X=\begin{bmatrix} x_1 & x_2 &...& x_N \end{bmatrix}^T=\begin{bmatrix} x_1^T \\ x_2^T \\\vdots\\ x_N^T \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} &...& x_{1p} \\ x_{21} & x_{22} &...& x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{N1} & x_{N2} &...& x_{Np} \\ \end{bmatrix}_{N*p}\qquad Y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{bmatrix}_{N*1}$
$\lbrace(x_i,y_i) \rbrace_{i=1}^N, \quad x_i \in R^p, \quad y_i \in \lbrace +1,-1 \rbrace$

$x_{c_1}=\lbrace x_i |y_i = +1 \rbrace \quad x_{c_2}=\lbrace x_i |y_i = -1 \rbrace$

$|x_{c_1}|=N_1, \quad |x_{c_2}|=N_2, \quad N_1+N_2=N$

思想

类内小，类间大
降维的思想来分类，找到合适的投影方向
在这里插入图片描述
投影方向为 $w^Tx$ 的方向

$x_i$ 在 $w$ 方向上的投影是多少？

设： $∣ ∣ w ∣ ∣ = 1$
$x_i.w=|x_i||w|.cos\theta=|x_i|cos\theta=\Delta$

推导

定义：

$z_i=w^Tx_i$

整体均值 $\overline{z}$ ,方差 $S_z$

$\overline{z} = \frac{1}{N} \sum_{i=1}^Nz_i=\frac{1}{N} \sum_{i=1}^Nw^Tx_i$

$S_z=\frac{1}{N} \sum_{i=1}^N(z_i - \overline{z})(z_i - \overline{z})^T=\frac{1}{N} \sum_{i=1}^N(w^Tx_i- \overline{z})(w^Tx_i - \overline{z})^T$

$c_1$ 的均值 $\overline{z_1}$ ,方差 $S_1$

$\overline {z_1} =\frac{1}{N_1} \sum_{i=1}^{N_1} w^Tx_i$

$S_1 =\frac{1}{N_1} \sum_{i=1}^{N_1}(w^Tx_i- \overline{z_1})(w^Tx_i - \overline{z_1})^T$

$c_2$ 的均值 $\overline{z_2}$ ,方差 $S_2$

$\overline {z_2} =\frac{1}{N_2} \sum_{i=1}^{N_2} w^Tx_i$

$S_2 =\frac{1}{N_2} \sum_{i=1}^{N_2}(w^Tx_i- \overline{z_2})(w^Tx_i - \overline{z_2})^T$

目标函数

类间： $(\overline {z_1} - \overline {z_2})^2$

类内： $S_1+S_2$

$J(w)=\frac{(\overline {z_1} - \overline {z_2})^2}{S_1+S_2}$

$\hat{w}=arg \max_w J(w)$

$\begin{aligned} (\overline {z_1} - \overline {z_2})^2 &=\left(\frac{1}{N_1} \sum_{i=1}^{N_1} w^Tx_i - \frac{1}{N_2} \sum_{i=1}^{N_2} w^Tx_i \right)^2 \\ &=\left( w^T\left( \frac{1}{N_1} \sum_{i=1}^{N_1} x_i - \frac{1}{N_2} \sum_{i=1}^{N_2} x_i \right) \right)^2 \\ &=\left(w^T\left( \overline{x_{c_1}} - \overline{x_{c_2}}\right) \right)^2 \\ &= w^T( \overline{x_{c_1}} - \overline{x_{c_2}}) ( \overline{x_{c_1}} - \overline{x_{c_2}}) ^Tw \end{aligned}$
$\begin{aligned} S_1 &= \frac{1}{N_1} \sum_{i=1}^{N_1}(w^Tx_i- \overline{z_1})(w^Tx_i - \overline{z_1})^T \\ &= \frac{1}{N_1} \sum_{i=1}^{N_1} w^T(x_i- \overline{x_{c_1}})(x_i- \overline{x_{c_1}})^Tw \\ &=w^T \left( \frac{1}{N_1} \sum_{i=1}^{N_1} (x_i- \overline{x_{c_1}})(x_i- \overline{x_{c_1}})^T \right) w \\ &= w^T S_{c_1}w \end{aligned}$
$S_1+S_2=W^T S_{c_1}W+W^T S_{c_2}W=W^T (S_{c_1}+S_{c_2})W$
$J(w)=\frac{ w^T( \overline{x_{c_1}} - \overline{x_{c_2}}) ( \overline{x_{c_1}} - \overline{x_{c_2}}) ^Tw}{w^T (S_{c_1}+S_{c_2})w}$
定义：

$S_b=( \overline{x_{c_1}} - \overline{x_{c_2}}) ( \overline{x_{c_1}} - \overline{x_{c_2}}) ^T$ $\quad between-class\quad$ 类间方差 $S_b \in R^{p*p}$

$S_w=(S_{c_1}+S_{c_2})$ $\quad within-class\quad$ 类内方差 $S_w \in R^{p*p}$

$J(w)=\frac{ w^TS_bw}{w^TS_ww}= w^TS_bw(w^TS_ww)^{-1}$

$\frac{\partial J(w)}{\partial w} = 2S_bw(w^TS_ww)^{-1} + w^TS_bw.(-1)(w^TS_ww)^{-2}.2S_ww=0$

$S_bw(w^TS_ww)-w^TS_bwS_ww=0$

$S_bw(w^TS_ww) = w^TS_bwS_ww$

因为： $w^TS_ww \in R^{(1*p)*(p*p)*(p*1)=1}$ 为一维数据，同理 $w^TS_bw$

所以： $S_ww=\frac{S_bw(w^TS_ww)}{w^TS_bw}.S_b.w$

再次我们只关心 $w$ 的方向，因为大小可以任意缩放

$w=\frac{S_bw(w^TS_ww)}{w^TS_bw}.S_w^{-1}.S_b.w \propto S_w^{-1}.S_b.w=S_w^{-1}(\overline{x_{c_1}}-\overline{x_{c_2}})(\overline{x_{c_1}}-\overline{x_{c_2}})^T.w$