支持向量机(SVM)详解(二)

支持向量机(SVM)详解(二) 本文承接上一篇《支持向量机(SVM)详解(一)》,继续对支持向量机进行介绍,这篇文章分为两大部分:软间隔支持向量机和核函数的引入。一、“软间隔”(Soft-margin)支持向量机  “软间隔”支持向量机是一种不满足式(2)的,不可以将训练样本“完美”划分的分类器。目标函数  在现实任务中很多情况下都不满足式(2)这种情况,为了避免使用核函...
摘要由CSDN通过智能技术生成

支持向量机(SVM)详解(二)

本文承接上一篇《支持向量机(SVM)详解(一)》,继续对支持向量机进行介绍,这篇文章分为两大部分:软间隔支持向量机和核函数的引入。

一、“软间隔”(Soft-margin)支持向量机

  “软间隔”支持向量机是一种不满足式(2)的,不可以将训练样本“完美”划分的分类器。

目标函数

  在现实任务中很多情况下都不满足式(2)这种情况,为了避免使用核函数带来的过拟合问题,软间隔支持向量机允许训练集中的一部分样本不满足“完美”划分条件,但是在最大化间隔时,应使不满足约束的样本点尽可能少。因此在式(4)的优化目标函数中加入损失函数 l o s t ( x i , y i ) lost\left(\mathbf{x}_i,y_i\right) lost(xi,yi),来表示上述这些不满足约束的样本点的影响,即

  当损失函数 l o s t ( x i , y i ) lost\left(\mathbf{x}_i,y_i\right) lost(xi,yi)采用0/1损失函数 f ( n ) = { 1 , z &lt; 0 0 , otherwise f(n)= \begin{cases} 1, &amp;z&lt;0\\ 0, &amp; \text{otherwise} \end{cases} f(n)={ 1,0,z<0otherwise时(其中 z = y i ( ω T x i + b ) − 1 z=y_i\left(\omega^{T}\mathbf{x}_i+b\right)-1 z=yi(ωTxi+b)1),若参数 C C C无穷大,那么就会迫使所有样本点满足式(2)中的约束条件,而式(10)等价于式(4),反之,如果所有样本点均满足式(2)(此时损失函数不小于零),那么参数 被迫为零,式(10)同样等价与式(4);若参数 为有限值,那么式(10)允许一部分样本点不满足式(2)。
  但是,由于0/1损失函数不连续、数学性质不好,且由于其非凸而不满足凸优化条件使得强对偶性不成立【6】,因此不易于直接求解。于是出现了许多用来替代0/1损失函数的“替代损失”函数(Surrogate Loss Function),这些函数往往具有良好的数学性质,他们通常是凸的连续函数而且是0/1损失函数的上界,如下三种替代损失函数

这几种损失函数的关系由下图所示,其中红色线为0/1损失函数

  由于损失函数不小于零的性质,在这里引入松弛变量(Slack Variable) ξ i ⩾ 0 \xi_i\geqslant{0} ξi0,优化目标函数中的损失函数 l o s t ( x i , y i ) lost\left(\mathbf{x}_i,y_i\right) lost(xi,yi)可以被替换为 ξ i ⩾ 0 \xi_i\geqslant{0} ξi0,这时,优化目标可以写为

这就是软间隔支持向量机的优化目标,其中松弛变量 ξ i ⩾ 0 \xi_i\geqslant{0} ξi0由来描述样本点不满足式(2)约束条件的程度,且满足【5】中二次规划问题的条件,可以采用现成的二次规划包来进行求解。
  需要注意的是,式(11)中第一项可以看做是“结构风险”(Structural Risk),即模型过拟合的风险,另一项可以看做是“经验风险”(Empirical Risk),即模型与训练集的契合程度,参数 是正则化系数,因此,式(11)可以称为“正则化问题”(Regularization Problem)。

目标函数的对偶问题

  与硬间隔支持向量机中的讨论类似,在软间隔支持向量机中,优化目标的拉格朗日乘子函数可以表示为

其中

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值