第11章 支撑向量机 SVM 学习笔记 上

目录

什么是svm

Hard Margin

Soft Margin 和SVM的正则化


什么是svm

既可以分类也可以回归

分成红色可能会好,降低了模型的泛化能力

Hard Margin

 

Theta 为n+1维 theta0x0 = b 截距

w为n维向量,计算后为一个数,d 也是一个数且为正数

2*x + y = 0

4*x + 2*y = 0

为了便于简写,可以写为

只是符号代替上面的数,现在有两个式子,可以化为

优化目标

s.t. = such that

与之前的不同,这个是有条件的最优化问题,求解比较复杂

之前的是全局最优化问题,只需要求导

这是hard margin前提是线性可分,但实际的数据不一定线性可分

 

Soft Margin 和SVM的正则化

 

本质是

 

求解后很有可能 

虽然分开了,但其泛化能力可能buxing

能够有一定的容错能力,

下面无法线性可分

具有容错能力的svm即soft margin svm

不一定所有的点在线之外,可以有一些点在两条边界线之间

 

对于每一个样本都一个yita,每一个都会有一个容错空间,希望有容错空间但不能太大

现存两者占的比例一样,正则化知识可知不一定

yita是正数不要| |

yita与之前的正则化中的theta几何意义不同

C之前是在前面的公式中,现在在后面

但C的表意是一样,C越大则容错空间越小

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值