吴恩达机器学习 笔记七 支持向量机svm

1. 线性svm

1.1 代价函数

  吴恩达的svm课程中由logisitic回归讲起，将logistic回归中的代价函数转换成图中的形式。刚开始的时候我自己很疑惑这个地方：

• 为什么代价函数要变成这个样子
• 又为什么代价为零的地方要是$z=1和-1$,不是$z=2,3,4……$

  直到好好研究了一番svm的几何意义才明白这样做的意义，下面一一道来。

1.1.1 代价函数为什么要变成这个样子

  我们假设二维平面，训练数据散点的坐标为$x=(x_1,x_2)^T$，我们要明确两个地方：

• svm的目标是寻找一条支持最大分类间隔的直线$\theta^{T}x=0$；
• 我们不要忘记代价函数中的$z=\theta^{T}x$，这样，我们就可以将代价函数和几何意义联系起来了：
  
  • $y=1$时，$\theta^{T}x>=1$，也就是处于下图中的直线$w^Tx+b=1$的上方，认为判断正确，代价为零。$\theta^{T}x<1$时，位于直线$w^Tx+b=1$的下方，$\theta^{T}x$的值越小，离直线$w^Tx+b=1$越远，代价越大。
  • y