线性分类器：Fisher线性判别_fisher线性判别函数-CSDN博客

本文链接：https://blog.csdn.net/Angel_Yuaner/article/details/48048871

我们知道，基于样本直接设计分类器需要三个基本要素：判别函数类型、分类器设计准则、寻优算法。这里我们讨论的线性判别函数类型为： $g(x)=w^Tx+w_0$ 。采用不同的准则和不同的寻优算法就会得到不同的线性分类器。

一、线性判别函数
刚才我们说了，线性分类器的判别函数型是线性判别函数：

g (x) = w T x + w 0

$g(x)=w^Tx+w_0$
其中，

w0 $w_0$ 是一个常数，

x $x$ 是

d $d$ 维的特征向量，

w $w$ 为权值向量，分别为：

x = ⎡ ⎣ ⎢ ⎢ ⎢ x 1 x 2 \dots x d ⎤ ⎦ ⎥ ⎥ ⎥ w = ⎡ ⎣ ⎢ ⎢ ⎢ w 1 w 2 \dots w d ⎤ ⎦ ⎥ ⎥ ⎥

$x=\left[\begin{matrix}x_1\\x_2\\\cdots \\x_d\end{matrix}\right] \; w=\left[\begin{matrix}w_1\\w_2\\\cdots \\w_d\end{matrix}\right]$
方程

g(x)=0 $g(x)=0$ 就是一个决策面，当

g(x) $g(x)$ 是线性函数时，这个决策面就是一个超平面。
对于决策面上的任意两点

xi,xj $x_i,x_j$ 都有：

w T x 1 + w 0 = w T x 2 + w 0 即 w T (x 1 - x 2) = 0

$w^Tx_1+w_0=w^Tx_2+w_0\;即\;w^T(x_1-x_2)=0$

二、Fisher线性判别分析
两类的线性判别问题可以看作是把所有样本都投影到一个方向，然后再这个一维空间中确定一个分类的阈值，过这个阈值点且与投影方向垂直的超平面就是两类的分类面。
这里写图片描述
像上图所示的两种投影方案，左边的投影方向可以将两种样本区分开来，而右边的投影方向不能区分开来，所以左边的投影方向更好。
Fisher线性判别的思想是：选择投影方向，使得投影后两类相隔尽可能远，而同一类内的样本尽可能聚集。

现在我们来定量的分析Fisher线性判别问题。为了简单考虑，我们只讨论二分类问题。
训练样本集是 $\chi=\{x_1,\cdots,x_N\}$ ，其中每个样本 $x_i$ 是一个 $d$ 维的向量，其中属于 $w_1$ 类的样本是 $\chi_1=\{x_1^1,\cdots,x_{N1}^1\}$ ，属于 $w_2$ 类的样本是 $\chi_2=\{x_1^2,\cdots,x_{N2}^2\}$ ，我们的目的是寻找一个投影方向 $w$ (也是一个 d