SVM

支持向量机通俗导论（理解SVM的三层境界）

https://blog.csdn.net/v_JULY_v/article/details/7624837
第一个链接图文显示不全，看下一个https://www.julyedu.com/question/big/kp_id/23/ques_id/919
问题一：42楼 粘贴 读者答疑 （评论盖楼太高= =，做个传送） 有一个问题必须阐述下，在本文1.2节中，有：“接着，我们可以令分类函数 f(x)=wTx+b ， 显然，如果 f(x)=0 ，那么 x 是位于超平面上的点。我们不妨要求对于所有满足 f(x)<0 的点，其对应的 y 等于 -1 ，而 f(x)>0 则对应 y=1 的数据点。” 有一朋友飞狗来自Mare_Desiderii，看了上面的定义之后，问道：请教一下SVM functional margin 为 γˆ=y(wTx+b)=yf(x)中的Y是只取1和-1 吗？y的唯一作用就是确保functional margin的非负性？ 与白石讨论后，我来具体回答下这个问题：你把问题搞混了。y是个分类标签，二分时y就取两个值，而刚好取了-1和1，只是因为用超平面分类时，不同的类中的点函数值刚好有不同的符号，所以就用符号来进行分类。 具体阐述如下：1.对于二类问题，因为y只取两个值，这两个是可以任意取的，只要是取两个值就行；2.支持向量机去求解二类问题，目标是求一个特征空间的超平面，而超平面分开的两类对应于超平面的函数值的符号是刚好相反的；3.基于上述两种考虑，为了使问题足够简单，我们取y的值为1和-1；4.在取定分类标签y为-1和1之后，那么，一个平面正确分类样本数据，就相当于用这个平面计算的那个yf（x）>0； 5、而且这样一来，yf（x）有明确的几何含义； 总而言之：你要明白，二类问题的标签y是可以取任意两个值的，不管取怎样的值对于相同的样本点，只要分类相同，所有的y的不同取值都是等价的，之所以取某些特殊的值，只是因为这样一来计算会变得方便，理解变得容易。 正如朋友张磊所言，svm中y取1或-1的历史原因是因为感知器最初的定义，实际取值可以任意，总能明确表示输入样本是否被误分，但是用+1、-1可以起码可以是问题描述简单化、式子表示简洁化、几何意义明确化。 举个例子，如你要是取y为1和2，比如原来取-1的现在取1，原来取1的现在取2 ， 这样一来，分类正确的判定标准变为（y-1.5）*f（X)>0 ， 故取1和-1只是为了计算简单方便，没有实质变化，更非一定必须取一正一负。
问题二：“我们可以令 γˆ=1 (对目标函数的优化没有影响) ” 为什么没有影响 这么做的依据是什么？ 问了好多人（包括在你群里），也看了网上别的资料，都是一笔代过，我自己也思考了很久 始终不明白 f(x)/||W|| 他子里也包含了向量W 并且是哪个点最近也不知道 怎么可能没有影响呢？？ 在我们平时就一个简单函数时 f(x)/||x|| 分子分母都包含 一个变量 怎么可以为了“求的方便” 就反分子变成1呢？？ 不理解！！ 应该怎么解释？ 能给个让人信服的解释吗？？ 还是有漏洞？ 谢谢！！
答：1.对于一个线性可分问题，任意给定一个分类正确的超平面，都有一个最小函数间隔，为了方便书写，记做r^，这个r，是方向向量w和截距b的函数，因为分类的点是给定的; 2.也就是说r~=r^ （w，b），而求最大几何间隔的问题就是要求出一组w，b使得r^ /||w||，最大。此时约束的条件是任意给定的一个点的函数间隔大于等于r^，也就是yi（w xi+b）>=r^ ; 3.下面做一个变量替换，用w’ = w/r^,和b’ = b/r^代替上面的w和b,这样的新变量仍旧是w和b的函数，所以最大化仍然可以进行。于是，把这两个新的变量代入到原来的约束最大化问题中，就变成了，在yi(w’ xi+b’)>=1的条件下，求使得1/||w’||最大化的w，b。 4.这样一来，通过一个变量替换，关于w和b的问题等价地换成了w’,b’ 的问题，这就是支持向量机所采用的形式。
关于第3点补充说明两个问题: 3.1. 问:为什么要做那两个变换,“下面做一个变量替换，用w’ = w/r^,和b’ = b/r^代替上面的w和b,”. 答:为了让读者能够看得更明白，才做的这样的变换。不然，大可以直接说因为函数间隔可以任意伸缩，因此将最小函数间隔任意扩大或者缩小一定倍数是不影响问题的，从而可以直接令最小值为1 . 3.2 问:关于第3点中的"1"是怎么来的? 答:yi（w xi+b）>=r^这个条件是任意求解的时候需要满足的，换个元，令w’= w/r^,和b’ = b/r^{，也就是w=w’r},b=b’r^代入上面的式子，不就出来yi(w’ xi+b’)>=1 了么? (多谢白石指导)