cs229学习笔记之支持向量机

函数距离和几何距离

设特征和类标签分别为$x,y \in \{-1,1\}$，定义分类器$h_{w,b}(x)=g(w^Tx+b)$，$g(z)=\begin{cases}1&\text{$z \geq 0$ }\\-1&\text{$z<0$ } \end{cases}$

函数距离

给定训练样本$(x^{(i)},y^{(i)})$，则函数距离$\hat{r}^{(i)}=y^{(i)}(w^Tx^{(i)}+b)$
如果$y^{(i)}=1$，我们希望$w^Tx^{(i)}+b$是一个比较大的正数。同样的，如果$y^{(i)}=-1$，我们希望$w^Tx^{(i)}+b$是一个比较小的负数。这样我们的预测才能正确且有较高的置信度。如果$y^{(i)}(w^Tx^{(i)}+b)>0$，则样本分类正确，所以较大的函数距离能代表一个正确且置信度较高的分类预测
值得注意的是将$(w,b)$换成$(2w,2b)$不影响预测结果，但是函数距离就增大了一倍，这是毫无意义的，所以限制$||w||_2=1$
给定集合$S=\{(x^{(i)},y^{(i)}); i=1, \dots ,m\}$，定义$S$的函数距离为$\hat{r}=min_{i=1, \dots ,m}\hat{r}^{(i)}$

几何距离

图 1

超平面直线方程为 $(w^Tx+b)=0$，则点到直线的距离 r(i)=|(wTx(i)+b)|||w||