线性分类器之Fisher线性判别

在前文《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并非易事，在特征空间维数较高和样本数量较少的情况下尤为如此。
实际上，模式识别的目的是在特征空间中设法找到两类（或多类）的分类面，估计概率密度函数并不是我们的目的。
前文已经提到，正态分布情况下，贝叶斯决策的最优分类面是线性的或者是二次函数形式的，本文则着重讨论线性情况下的一类判别准则——Fisher判别准则。

为了避免陷入复杂的概率的计算，我们直接估计判别函数式中的参数（因为我们已经知道判别函数式是线性的）。

首先我们来回顾一下线性判别函数的基本概念：
表达形式：

$$g(x)=\omega^Tx+\omega_0$$
其中， $x$是 $d$维特征向量； $\omega$称为权向量，决定分类面的方向； $\omega_0$是个常数，称为阈权值。
$$x=[x_1,x_2,...,x_d]^T,\omega=[\omega_1,\omega_2,...,\omega_d]^T$$
关于 $\omega$和 $\omega_0$的作用，大家可以考虑一下二维空间，则其分别对应于斜率和截距，事实上，高维空间亦是如此。

对于两类问题的决策规则：
令$g(x)=g_1(x)-g_2(x)$（分别为第一类和第二类的判别函数，具体定义见前文），则

$$g(x)>0,x\in\omega_1$$
$$g(x)<0,x\in\omega_2$$
$$g(x)=0,x可归入任意一类，或者拒绝$$
可以看出，方程 $g(x)=0$定义了一个决策面，它把归类于