Fisher线性判别分析

本文参考《模式识别》 张学工
以二分类介绍
fisher线性判别：把所有样本都投影到一个方向，然后在这个一维空间中确定一个分类阈值，而fisher要找的就是这个投影方向。
衡量投影方向的标准：选择投影方向，使投影后两类相邻尽可能远，同时每一类内部的样本又尽可能近。
算法推导
训练样本为$\{x_1,x_2,...,x_N\}$每一个样本是一个d维向量，即$x_i\in R^d$,其中第一类的样本样本为$\{x_1^1,x_2^1,...,x_{N1}^1\}$，第二类样本为$\{x_1^2,x_2^2,...,x_{N2}^2\}$。我们要寻找一个投影方向$\omega$使投影后的样本为

$$y_i = \omega ^T x_i$$
在原来的样本空间中，类别均值为 $$m_i = \frac{1}{N_i}\sum_{x_j \in x(i)}x_j$$ 式中i = 1，2表示两个类别，x(i)表示第i类的集合。定义各类内离散度矩阵为

Si=∑xj∈x