点到超平面距离的证明

在支持向量机的推导中，我们介绍了式（6-2）
w和b就可以确定确定一个超平面，我们就将由w和b确定的该超平面记为(w,b)，任意点x到超平面(w,b)的距离为
$$r=\frac{|w^{T}x+b|}{\mid \mid w\mid \mid }\text{\hspace{1em}(6-2)}$$
这里给出证明

对于任一点$x_0=(x_1^0,x_2^0,...,x_n^0{)}^T$，设其在超平面$w^{T}x+b=0$上的投影点（即从$x_0$做一条垂直于该超平面的直接与超平面的交叉点）为$x_1=(x_1^1,x_2^1,...,x_n^1{)}^T$，则$w^T{x}_1+b=0$（因为$x_1$在该超平面上），且向量$\overrightarrow{x_1{x}_0}$与超平面的法向量平行（即$\overrightarrow{x_1{x}_0}$ \\ $w$）
$$\mid w\cdot \overrightarrow{x_1{x}_0}\mid =\mid \mid \mid w\mid \mid \cdot cos\pi \cdot \mid \mid \overrightarrow{x_1{x}_0}\mid \mid \mid =\mid \mid \mid w\mid \mid \cdot \mid \mid \overrightarrow{x_1{x}_0}\mid \mid \mid \text{\hspace{1em}(1)}$$

而这里的$\mid \mid \overrightarrow{x_1{x}_0}\mid \mid$正是我们想要的，我们将其记为r
式（1）可变为
$$\mid w\cdot \overrightarrow{x_1{x}_0}\mid =\mid \mid w\mid \mid \cdot \mid \mid \overrightarrow{x_1{x}_0}\mid \mid =\mid \mid w\mid \mid \cdot r\text{\hspace{1em}(2)}$$

我们可以用向量的方式求 $w\cdot \overrightarrow{x_1{x}_0}$，
$$\begin{array}{rl}w\cdot \overrightarrow{x_1{x}_0}& =(w_1,w_2,...,w_n)\cdot (x_1^0-x_1^1,x_2^0-x_2^1,...,x_n^0-x_n^1)\\ & =w_1(x_1^0-x_1^1)+w_2(x_2^0-x_2^1)+...+w_n(x_n^0-x_n^1)\\ & =w_1{x}_1^0+w_2{x}_2^0+...+w_n{x}_n^0-(w_1{x}_1^1+w_2{x}_2^1+...+w_n{x}_n^1)\\ & =w^T{x}_0-w^T{x}_1\\ & =w^T{x}_0+b\end{array}\text{\hspace{1em}(3)}$$

将式（3）带入式（2）即可求得r，即点到直线的距离
$$\begin{array}{rl}\mid w\cdot \overrightarrow{x_1{x}_0}\mid & =\mid \mid w\mid \mid \cdot r\\ r& =\frac{\mid w^T{x}_0+b\mid }{\mid \mid w\mid \mid }\end{array}\text{\hspace{1em}(4)}$$