SVM(支持向量机)- 基本思想(一)
Reference:
Pluskid系列博客《Pattern recognition and machine learning》CM Bishop - 2006
《convex optimization》SP Boyd, L Vandenberghe – 2004
说明:本系列纯粹是pluskid博客的狗尾续貂之作,写下了只是想让自己踏踏实实学点东西,如果看懂了pluskid的博客,那就直接Pass,如果有不清楚的地方,说不定我的博客里面会给你一些启发。
1 Basic idear
Figure 1
Question :
假设样本为二维的情况,图中有红蓝两种点,代表已经有的两类样本数据,我们需要在红、蓝之间找一个分界面,使得分界面的一边是一类,另一边是另一类。很明显,会有很多个满足条件的平面,比如图中的紫色和深红色的两条直线,我们要找的是一个最优的超平面,使得对后续要分类的测试点,也能取得比较准确的分类,即泛化能力要强。例如,现在我们要对黑色和黄色两个测试点进行分类,我们仅有的信息就是蓝方和红方的分布,观察这两方的分布,直观上我们认为,黑色该属于蓝方,而棕色该属于红方。然而,紫色直线把黑色测试点分类为红方,黄色点分为蓝方,因此,相对深红色直线泛化能力略微逊色了点。那怎样的一条直线才是泛化能力最好的呢?这就是技术活了,直观上我们觉得紫色直线靠,两点太近了将紫色直线顺时针旋转一点点会效果更好,比如转到红色直线的位置。那红色直线具有什么样的属性呢?一般这种问题都会转化成为一个最优化问题,让数学来回答这个问题,SVM也不例外。
Answer :
既然很多直线都能满足,那我们就找这里面最特殊的一条,特殊在于距离。在能正确区分训练集的直线集中,计算它门到最近样本点的距离,我们选择使得此距离最大的那条直线。
Formul