白板推导系列 - SVM支持向量机

支持向量机

视频地址

https://www.bilibili.com/video/av28186618
非常感谢这位up!真的好感谢!讲的很清楚!膝盖都跪碎了!
感谢b站up主@shuhuai008

P1: 硬间隔SVM - 模型定义(最大间隔分类器)

SVM有三宝:间隔,对偶,核技巧
SVM的三种类别:
1)Hard-Margin SVM 硬间隔SVM
2)Soft-Margin SVM 软间隔SVM
3)Kernal SVM

不同类别会采用不同的算法,最基础的是硬间隔SVM,也是这一讲的主要内容。
先从几何角度来看。SVM最初的提出是为了解决二分类问题。分类任务就是找到一条线,把平面上两个类别的样本正确地分开。如果把这条分割的线定义为超平面,超平面为 w T x + b w^Tx+b wTx+b,模型写作 f ( w ) = s i g n ( w T x + b ) f(w)=sign(w^Tx+b) f(w)=sign(wTx+b)。这个sign表示如果括号里的数值大于0,则属于1,小于0时,属于-1。
此时,SVM是一个纯粹的判别模型,和概率是没有关系的。

但是有无限条线可以正确地把两组点分开,SVM的特别之处在于,可以从几何意义上找到一条最好的线。因为,我们不仅仅关注训练误差,更加关注的是期望损失/测试误差。如果一条直线和一个点非常近,那么它的鲁棒性就可能不太好,可能会受到噪声的影响;所以我们要找的是最中间的一个超平面,让它离所有样本点的距离都足够的大。

硬间隔SVM又叫作,最大间隔分类器。
用数学公式表示,即:
在这里插入图片描述
有N个样本点: ( x i , y i ) , x i ∈ R p , y i ∈ − 1 , 1 {(x_i,y_i)}, x_i \in R^p, y_i\in{-1,1} (x

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值