第二章 Fisher‘s Linear Discriminent Analysis(FDA)

• FDA是一种降维方法
• 考虑类别，将数据投影到能最大限度分开数据的方向上

假设和符号

假设有两个类别
y ∈ { 0 , 1 } y\in \{0, 1\} y∈{ 0,1},
$X=[x_1,\dots ,x_n{]}_{d\ast n}$,
$Y=[y_1,\dots ,y_n{]}_{1\ast n}$,
我们要把所有的点映射到一个方向$w$上，$z=w^{T}x$

假设${\mu }_0$是一类的均值，${\mu }_1$是另一类的均值。${\mu }_0=\frac{1}{n_0}{\sum }_{i:y_i=0}{x}_i,{\mu }_1=\frac{1}{n_1}{\sum }_{i:y_i=1}{x}_i$.

类间分散

数据点的均值为$\mu$，投影到方向$w$后的均值为$w^T\mu$

使类间尽量分散，就是最大化下面的值：
$$\underset{w}{\max }(w^T{\mu }_0-w^T{\mu }_1{)}^2$$
等于
max ⁡ w   w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w \max_w \ w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw