线性判别函数

回顾模式分类的途径

• 思路一：估计条件概率密度函数，然后利用贝叶斯公式求出后验概率进行决策。而概率密度函数的估计有参数估计和分参数估计两种方式。其中参数估计有最大似然估计和贝叶斯估计，非参数估计有Parzen窗估计和KNN估计。
• 思路二：直接用KNN算出后验概率即可进行决策
• 思路三：直接找到可用于分类的判别函数。

这篇文章，我们主要讨论思路三，直接通过数据确定线性判别函数的参数，进而分类决策。我们的基本想法是：

1. 给定一个线性判别函数，并且函数的参数形式已知。

2. 采用训练样本的方法来确定判别函数的参数。

3. 通过我们的判别函数对新样本进行决策

从最简单的二分类问题入手

对于一个两类问题，已知样本空间中的n个d维数据及其对应的类别。类与类之间是线性可分的。现假设某一个别类的线性判别函数的基本形式为
$$g(x)=w^{T}x+w_0$$
然后利用样本数据对参数$w^T$和偏置${\omega }_0$进行训练。

训练的标准是
$$\{\begin{array}{l}g(x_i)>0,x_i\in {\omega }_1\\ g(x_i)<0,x_i\in {\omega }_2\end{array}$$
直观地理解是我们给x的每一个分量乘以一个权重系数，求和之后与阈值${\omega }_0$进行比较，进行二值分类。

几何解释

可以从几何的角度给出更形象的解释，如图所示

平面g(x)=0为两类别的决策面H，将样本空间V分割成两部分，即第一类的决策域R_1和第二类的决策域R_2

显然，w和平面H正交。证明：若$x_1,x_2\in H$，则$w^T{x}_1+{\omega }_0=w^T{x}_2+{\omega }_0$所以$w^T(x_1-x_2)=0$，即w与H面上任一个向量正交，因此，w与平面H正交

由上图可知
$$x=x_p+r\frac{w}{||w||}$$
其中，x_p是x在H上的投影向量，r是x到H的代数距离，其正负对应两个不同的决策域。

因为x_p在H上，因此
$$g(x_p)=w^T{x}_p+{\omega }_0=0$$
由以上两个式子可得
$$g(x)=w^{T}x+{\omega }_0=r||w||$$
显然，g(x)可以表示x到H的某种距离。而且原点到平面的距离为
r