支持向量机
视频地址
https://www.bilibili.com/video/av28186618
非常感谢这位up!真的好感谢!讲的很清楚!膝盖都跪碎了!
感谢b站up主@shuhuai008
P1: 硬间隔SVM - 模型定义(最大间隔分类器)
SVM有三宝:间隔,对偶,核技巧
SVM的三种类别:
1)Hard-Margin SVM 硬间隔SVM
2)Soft-Margin SVM 软间隔SVM
3)Kernal SVM
不同类别会采用不同的算法,最基础的是硬间隔SVM,也是这一讲的主要内容。
先从几何角度来看。SVM最初的提出是为了解决二分类问题。分类任务就是找到一条线,把平面上两个类别的样本正确地分开。如果把这条分割的线定义为超平面,超平面为 w T x + b w^Tx+b wTx+b,模型写作 f ( w ) = s i g n ( w T x + b ) f(w)=sign(w^Tx+b) f(w)=sign(wTx+b)。这个sign表示如果括号里的数值大于0,则属于1,小于0时,属于-1。
此时,SVM是一个纯粹的判别模型,和概率是没有关系的。
但是有无限条线可以正确地把两组点分开,SVM的特别之处在于,可以从几何意义上找到一条最好的线。因为,我们不仅仅关注训练误差,更加关注的是期望损失/测试误差。如果一条直线和一个点非常近,那么它的鲁棒性就可能不太好,可能会受到噪声的影响;所以我们要找的是最中间的一个超平面,让它离所有样本点的距离都足够的大。
硬间隔SVM又叫作,最大间隔分类器。
用数学公式表示,即:
有N个样本点: ( x i , y i ) , x i ∈ R p , y i ∈ − 1 , 1 {(x_i,y_i)}, x_i \in R^p, y_i\in{-1,1} (x