【机器学习】- 支持向量机

预备知识

1、【法向量】Wx+b=0，w是什么？
Wx+b=0是直线方程，其中w表示法向量，法向量的指向由具体值确定。例如x+y-2=0，法向量为(1,1)，指向右上方。

2、【距离公式】

3、【函数间隔】
当w确定的时候，距离的远近可以比较分子，也就是说wx+b的绝对值表示样本点到分类平面的相对距离，显然点在w指向的方向距离为正值，规定正类为这一侧，同样的分析应用到负类，那么y(wx+b)即可以表征分类准确性，又可以表征分类的置信度，具体而言绝对值的大小表示置信度，正负分别表示分类正确、错误，在svm中这被称作函数间隔。

4、【几何间隔】
可以理解为真正的距离，与函数间隔是正比关系。

5、【核技巧】
6、【拉格朗日对偶性】
7、【hinge loss function】

7.1 线型可分支持向量机

解释：γ是函数距离，γhat所有样本点中距离分类面最小的函数距离。由前置知识可以知道，目标函数是几何间隔最大化。

其中γ hat为到超平面最小的函数间隔，这时的超平面还是一个任意的平面，显然这是一个极大极小问题。因为优化的目标是找到最佳的自变量w,b的比例关系以确定分离超平面，而与变量的绝对大小无关，基于此，我们把函数间隔设置为1.优化目标变为：