机器学习笔记（八）-吴恩达视频课程（支持向量机SVM）

1.支持向量机的优化目标

以下是新建的 SVM 的图像，左边为y=1时，右边为y=0时

然后进行转换

2.SVM 被看做大边界分类器（大间距）的情况

在y=1时，  >= 1   代价函数为0

在y=0时，  <=-1   代价函数为0

注意不是与0作比较来判定，这样就有了安全间距

 

可以看到图中黑色，粉色，绿色三个边界，

黑色边界是最稳健的边界，它和样本之间有更大的距离，叫做间距

如果将C设置的非常大或者特别小，就会得到黑色以外的其类型的分类的线，

但是如果将C设置的不是特别大并且也不是特别小时（C应该足够大，只是不可以特别大），就会得到黑色的线，他可以忽略掉一些异常点的影响，得到更好地决策界。

无论怎样，最终的优化结果都是要让在y=1和y=0两种情况下都使得代价函数左边一项尽量为0，这时最小化问题就转化为了：

3.核函数

获取新的特征，可以通过对原有的特征进行组合（如），利用新特征f来替换模型中的每一项，如，这样就得到了，除了这样，还可以利用核函数来计算出新的特征。

由上面公式可以得知，当一个训练实例x与地标L的距离近似于0的时候，新特征近似于 =1;

如果个训练实例x与地标L的距离近很远的时候，新特征近似于 =0。

 

横纵坐标为x1,x2,只有当x与L重合的时候（距离为0）才有最大值1，随着x的改变，值改变的速率受到的控制（如上图）。

选择地标

也就是每个样本对应着都m个特征

下图中的example x ( 样本x) 可以是训练集，测试集，交叉验证集中任何一个

（也就是为了提高计算效率）