线性判别函数

　　线性判别，是想在特征空间内，找到一个超平面$g(x)$，能够区分开数据。空间内的超平面表示为：
　　$g(x)=\sum_{i=1}^{n}w_{i}*x_{i}+w_{0}=w^t*x+w_0=0$。

线性判别函数

由超平面到分类问题

　　假设特征空间内存在某一超平面为$g(x)=w^t*x+w_{0}=0$，则空间内某一点$\overset {\rightharpoonup}{x}$到其的距离$r=\frac{g(x)}{||w||}$，其推理如下：
　　$\overset {\rightharpoonup}{x}=\overset {\rightharpoonup}{x_p}+\overset {\rightharpoonup}{r}$
　　其中$\overset {\rightharpoonup}{x_p}$是点$x$在平面$g(x)$上的垂直投影点，$\overset {\rightharpoonup}{r}$表示$\overset {\rightharpoonup}{x}$在超平面上的正交投影（即点到平面的距离）。
　　将$\overset {\rightharpoonup}{x}$带入$g(x)$得到：
　　$g(\overset {\rightharpoonup}{x})=w^t*\overset {\rightharpoonup}{x}+w_{0}$
　　$g(\overset {\rightharpoonup}{x})=w^t*(\overset {\rightharpoonup}{x_p}+\overset {\rightharpoonup}{r})+w_0$
　　$g(\overset {\rightharpoonup}{x})=g(\overset {\rightharpoonup}{x_p})+w^t * \overset {\rightharpoonup}{r}$
　　$\overset {\rightharpoonup}{x_p}$在平面上，所以$g(\overset {\rightharpoonup}{x_p})=0$
　　故上式得：$g(x)=w^t*r=<w,r>=||w||*||r||*cos(w,r)$
　　线性判别函数$g(x)$是特征空间中某点$x$到超平面的距离的一种线性度量。
　　超平面的性质：
　　1. $w$与超平面$H$正交。证明提示，设两个点在超平面上，点在平面上则满足$g(x)=0$
　　2. $||r||=\frac{g(x)}{||w||}$。证明如开始。
　　3. 原点到超平面$H$距离$d = \frac{w_0}{||w||}$
　　4. 若$w_0>0$，则超平面在原点正侧；否则反之。若$w_0=0$，则超平面通过原点。
　　结论：
　　1. 超平面的方向由$w$确定。
　　2. 超平面的位置由$w_0$确定。
　　3. 超平面$g(x)$正比于点$x$到超平面 H