1. 线性svm
1.1 代价函数
吴恩达的svm课程中由logisitic回归讲起,将logistic回归中的代价函数转换成图中的形式。刚开始的时候我自己很疑惑这个地方:
- 为什么代价函数要变成这个样子
- 又为什么代价为零的地方要是 z=1和−1 z = 1 和 − 1 ,不是 z=2,3,4…… z = 2 , 3 , 4 … …
直到好好研究了一番svm的几何意义才明白这样做的意义,下面一一道来。
1.1.1 代价函数为什么要变成这个样子
我们假设二维平面,训练数据散点的坐标为 x=(x1,x2)T x = ( x 1 , x 2 ) T ,我们要明确两个地方:
- svm的目标是寻找一条支持最大分类间隔的直线 θTx=0 θ T x = 0 ;
- 我们不要忘记代价函数中的 z=θTx z = θ T x ,这样,我们就可以将代价函数和几何意义联系起来了:
- y=1 y = 1 时, θTx>=1 θ T x >= 1 ,也就是处于下图中的直线 wTx+b=1 w T x + b = 1 的上方,认为判断正确,代价为零。 θTx<1 θ T x < 1 时,位于直线 wTx+b=1 w T x + b = 1 的下方, θTx θ T x 的值越小,离直线 wTx+b=1 w T x + b = 1 越远,代价越大。
- y