Fisher判别

距离判别法

距离判别法首先根据已知分类的数据，分别计算出各类的重心。再根据新个体到每类的距离（即新个体与各类重心的距离，可采用欧氏距离或者马氏距离等等），根据最短的距离确定分类情况。
问题描述：

欧氏距离

Note: 第一个等式是矩阵的写法。

马氏距离

Note: 矩阵的写法。

关于协方差矩阵

协方差矩阵：对n个维度，任意两个维度都计算一个协方差，组成矩阵

具体见协方差矩阵

Fisher判别分析

应用步骤：

1. 把来自2类的训练样本集划分为2个子集$X_1,X_2,i=1,2$
2. 计算各类的均值向量$m_1,m_2$（投影前）
3. 得到投影后均值向量${\mu }_1,{\mu }_2$
4. 计算各类的类内离散度矩阵$S_i$（投影前）
5. 计算投影之后的离散度矩阵${\sigma }_i^2$
6. 计算类内总离散矩阵$S_t$
7. 求出$w_{op}=S_t^{-1}(m_1-m_2)$
8. $y=w_{op}^{T}x$
9. 确定阈值$w_0$比较 $y$值与阈值$w_0$ 的大小，得出其分类。

核心思想

Fisher判别的基本思想：
希望投影后的一维数据满足：

• 两类之间的距离尽可能远； 
• 每一类自身尽可能紧凑。

具体步骤解释

Fisher准则函数：

我们的目标是求出$y=w^{T}x$ 这条直线。因此求$w$
所以我们投影降维，将均差、离散度写成有关$w$的函数。
我们希望类间距大，类内小；所以，目标求$w$为多少时，式子达到最大值。

投影降维

给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、不同类样例的投影点尽可能远离。在对新样本进行分类时，将其投影到同样的这条直线上，再根据新样本投影点的位置来确定它的类别

$y=w^{T}x$ 就是要投影到的直线

组间偏差

$({\mu }_1-{\mu }_2{)}^2=(w^T{m}_2-w^T{m}_1{)}^2$
将原始空间的均值m1，m2投影后(${\mu }_1=w^T{m}_1$)得到在直线上的${\mu }_1$和${\mu }_2$

组内偏差

按照方差分析里的思想，应该把各组内的偏差相加，再把各组的偏差总和相加。

离散度矩阵定义为：

各组内的偏差相加： 样本与均值差距

因此，$J_F(w)$下面的式子：
${\sigma }_1^2+{\sigma }_2^2=w^T{S}_{1}w+w^T{S}_{2}w=w^T(S_1+S_2)w$

各组的偏差总和相加

求出最优解

最大化上述式子得到当前$w_{op}$