SVM不加入松弛变量使用高斯核对所有样本都可以线性可分吗???

是的。
李航老师书上证明了一个结论,线性可分的训练数据集的最大间隔分离超平面是存在而且唯一的,细节可以查小蓝书。
对于线性不可分的训练数据集,用高斯核可以让训练数据完美可分,但是这样很容易overfitting,以下是详细推导,参考https://blog.csdn.net/taoqick/article/details/102644779,最终SVM训练后的表达式是:
f ( x ) = w T x + b = ∑ i = 1 m α i y i x i T x + b f(x)=w^Tx+b=\sum_{i=1}^{m}\alpha_{i}y_{i}x_i^Tx+b f(x)=wTx+b=i=1mαiyixiTx+b

所谓的核函数,就是把 x i T x x_i^Tx xiTx变成 K ( x i , x ) K(x_i,x) K(xi,x)把原空间的数据映射到一个非线性空间,此时得到的函数表达式是:
f ( x ) = w T x + b = ∑ i = 1 m α i y i K ( x i T , x ) + b f(x)=w^Tx+b=\sum_{i=1}^{m}\alpha_{i}y_{i}K(x_i^T,x)+b f(x)=wTx+b=i=1mαiyiK(xiT,x)+b

其实我们就是希望找到解,使得:
m i n ∣ ∣ w ∣ ∣ 2 , s . t , f ( x i ) y i > = 1 ( 公 式 1 ) min{\frac{||w||}{2}}, s.t, f(x_i)y_i>=1 (公式1) min2w,s.t,f(xi)yi>=1(1)
这个约束条件并不难满足,固定b=0:
f ( x i ) y i = y i ∑ j = 1 m ( α j y j K ( x j , x i ) ) = y j α j y j K ( x j , x j ) + y i ∑ j = 1 , i ! = j m ( α j y j K ( x j , x i ) ) = α j + y i ∑ j = 1 , i ! = j m ( α j y j K ( x j , x i ) ) f(x_i)y_i=y_i\sum_{j=1}^m(\alpha_jy_jK(x_j,x_i))\\ =y_j\alpha_jy_jK(x_j,x_j)+y_i\sum_{j=1,i!=j}^m(\alpha_jy_jK(x_j,x_i))\\=\alpha_j+y_i\sum_{j=1,i!=j}^m(\alpha_jy_jK(x_j,x_i)) f(xi)yi=yij=1m(αjyjK(xj,xi))=yjαjyjK(xj,xj)+yij=1,i!=jm(αjyjK(xj,xi))=αj+yij=1,i!=jm(αjyjK(xj,xi))

因此只要让 α j \alpha_j αj足够大,高斯核 K ( x j , x i ) K(x_j,x_i) K(xj,xi)足够小,大于1是没有任何问题的,而最优解也一定满足以上的条件。

但是如果加入了松弛变量以后,目标函数变成了
C ∑ i = 1 m ξ + 1 2 ∣ ∣ w ∣ ∣ 2 C\sum_{i=1}^m\xi+\frac{1}{2}||w||^2 Ci=1mξ+21w2

极端情况下,整个目标函数都等于0,但是训练集的数据并不一定能都分对

参考李航老师的书、西瓜书、葫芦书

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值