线性支持向量机
PLA在之前的课程中很难对每一条hyperplane进行具体的优劣比较,是借助dichotomy将无限的问题转换成了有限的问题。
那么到底哪一条线比较好呢?
PLA? 每一次的选择都是随机的,VC bound的角度来说,下面的三种情况并没有区别。
想象已经有了原始资料xn,就是被hyperplane完美分开的那些点,测试的时候拿到和xn很相近的数据(因为总会存在一些测量错误)x约等于xn。x是测试资料,xn是训练资料。
最好的预测结果:和训练资料相近的测试资料预测的结果是相同的。
也就是在训练集数据周围的灰色区域内的测试数据,也能得到和训练集一样的预测结果。
1.xn与hyperplane距离比较远时,就算测试资料有很大的测量误差也能得到和训练资料相同的结果;
2.xn与hyperplane距离比较近时,测试资料稍微有一点测量误差,就会被划分到对立的区域中去。
结论:hyperplane要离每一个xn越远越好。
除了刚才的距离来判断是否稳健,也可以使用fat hyperplane来衡量!
fat hyperplane:hyperplane到离得最近的xn的灰色区域,越宽越稳健。
largest-margin separating hyperplane需要满足两点:
1.找到的hyperplane必须可以完美地把所有的点都分开;
2.largest-margin
hyperplane必须在“+1”和“-1”之间的垂直平分线,也就是中垂线。