第4章 线性分类器

线性判别函数的基本概念

---

从这章开始正式进入模式识别主要的学习内容了！在第4章以前，我们将样本分类需要先通过已有的大量样本推测出不同类别的概率密度，再由概率密度用贝叶斯公式得到最终的决策。显然，决策才是我们的最终目的。中间步骤“计算概率密度”显然有些多余，其实我们可以直接用已有的样本构造出一个判别函数，将新样本代入判别函数就能将它分类了。

基于样本直接设计分类器需要确定三个基本要素：

1. 分类器即判别函数的类型是第一要素。从什么样的判别函数类（函数集）中去求解；
2. 分类器设计的目标或标准是第二要素。在确定了设计准则后，分类器设计就是根据样本从事先决定的函数集中选择在该准则下最优的函数，通常就是确定函数类中的某些待定参数；
3. 第三个要素就是在前两个要素明确之后，如何设计算法利用样本数据搜索到最优的函数参数。

---

我们在学习最小风险贝叶斯决策时是比较$p(\vec{x}|w_i)p(w_i)$的大小来确定样本$\vec{x}$是应该决策为哪一类的。在正态分布时的统计决策学习中我们令判别函数为：
$$g(x_i)=lnp(x|w_i)p(w_i)=-\frac{1}{2}(\vec{x}-\vec{\mu }{)}^T{\sum }^{-1}(\vec{x}-\vec{\mu })-\frac{d}{2}ln2\pi -\frac{1}{2}ln|\sum {}_i|+lnp(w_i)$$
对于只有两个类别的问题，我们可以采用如下决策规则：
$$g(\vec{x})=g_1(\vec{x})-g_2(\vec{x})$$
可以发现，
$$\{\begin{array}{cc}g(\vec{x})>0& ，决策\vec{x}\in w_1\\ g(\vec{x})<0& ，决策\vec{x}\in w_2\\ g(\vec{x})=0& ，决策\vec{x}拒绝\end{array}$$
方程$g(\vec{x})=0$定义了一个决策面，本章我们学习线性分类器，因此$g(\vec{x})$为一个线性函数，这个决策面也就是一个超平面。

可以将（1）式代入到（2）式，并用特殊符号代替公式中复杂的符号组合，得到如下一般决策规则：
$$g(\vec{x})={\vec{\mathbf{w}}}^T\vec{x}+w_0$$
我们之后便是通过上面这个公式（4）来求解样本$\vec{x}$所在的类别。

假设$x_1$和$x_2$均在决策边界上，则有
$${\vec{\mathbf{w}}}^T\overrightarrow{x_1}+w_0={\vec{\mathbf{w}}}^T\overrightarrow{x_2}+w_0$$
也可以写为
$${\vec{\mathbf{w}}}^T(\overrightarrow{x_1}-\overrightarrow{x_2})=0$$
可以看到，向量$\vec{\mathbf{w}}$一定垂直于决策边界$H$上的任何一个向量，即向量$\vec{\mathbf{w}}$是决策面的法向量。接下来要探究一下这个决策面的一些性质：

我们可以把$\vec{x}$表示成
$$\vec{x}=\overrightarrow{x_p}+r\frac{\vec{\mathbf{w}}}{||\vec{\mathbf{w}}||}$$
式中

$\overrightarrow{x_p}$是向量$\vec{x}$在$H$上的摄影向量；

$r$是$\vec{x}$到$H$的垂直距离；

$\frac{\vec{\mathbf{w}}}{||\vec{\mathbf{w}}||}$是向量$\vec{\mathbf{w}}$方向上的单位向量。

可以参考下面这张图：

将式（7）代入式（4）中可以得到下面这个式子：
$$g(\vec{x})={\vec{\mathbf{w}}}^T\vec{x}+w_0={\vec{\mathbf{w}}}^T(\overrightarrow{x_p}+r\frac{\vec{\mathbf{w}}}{||\vec{\mathbf{w}}||})+w_0={\vec{\mathbf{w}}}^T\overrightarrow{x_p}+w_0+r\frac{{\vec{\mathbf{w}}}^T\vec{\mathbf{w}}}{||\vec{\mathbf{w}}||}$$
而向量$\overrightarrow{x_p}$是决策面上的点，则${\vec{\mathbf{w}}}^T\overrightarrow{x_p}+w_0=0$，将上式化简则有：
$$r=\frac{g(\vec{x})}{||\vec{\mathbf{w}}||}$$
若$\vec{x}$为原点，则$g(x)=w_0$，则有
$$r_0=\frac{w_0}{||\vec{\mathbf{w}}||}$$
所以可以说，判别函数$g(x)$可以看成是特征空间中某点$\vec{x}$到超平面$H$的距离的一种代数度量！