1.支持向量机的优化目标
以下是新建的 SVM 的图像,左边为y=1时,右边为y=0时
然后进行转换
2.SVM 被看做大边界分类器(大间距)的情况
在y=1时, >= 1 代价函数为0
在y=0时, <=-1 代价函数为0
注意不是与0作比较来判定,这样就有了安全间距
可以看到图中黑色,粉色,绿色三个边界,
黑色边界是最稳健的边界,它和样本之间有更大的距离,叫做间距
如果将C设置的非常大或者特别小,就会得到黑色以外的其类型的分类的线,
但是如果将C设置的不是特别大并且也不是特别小时(C应该足够大,只是不可以特别大),就会得到黑色的线,他可以忽略掉一些异常点的影响,得到更好地决策界。
无论怎样,最终的优化结果都是要让在y=1和y=0两种情况下都使得代价函数左边一项尽量为0,这时最小化问题就转化为了:
3.核函数
获取新的特征,可以通过对原有的特征进行组合(如),利用新特征f来替换模型中的每一项,如,这样就得到了,除了这样,还可以利用核函数来计算出新的特征。
由上面公式可以得知,当一个训练实例x与地标L的距离近似于0的时候,新特征近似于 =1;
如果个训练实例x与地标L的距离近很远的时候,新特征近似于 =0。
横纵坐标为x1,x2,只有当x与L重合的时候(距离为0)才有最大值1,随着x的改变,值改变的速率受到的控制(如上图)。
选择地标
也就是每个样本对应着都m个特征
下图中的example x ( 样本x) 可以是训练集,测试集,交叉验证集中任何一个
(也就是为了提高计算效率)