支持向量机svm

公式推导

模型已定，参数未知

思考过程

1、需要将x和-分开，因为是二维平面，使用一条直线即可划分。svm里边叫超平面

2、任意直线可表示为w T xi+b，w和x一样有两个维度，b是常数

3、直线w T xi+b=0就表示超平面，这里不要靠原有思维去猜测w的正负等问题。

4、假设x的标签y=1，-的标签y=-1，（二者标签交互也可，因为w是学习出来的）当y=1，满足w T xi+b>1,（因为存在b，也需要学习，所以回答了1其实是y，而不是距离，这就是人为设计的损失函数，理解不到查看参考资料一），当y=-1，满足w T xi+b<-1

优化步骤

1、不等式合并

把正负1换成yi

 2、点到直线的距离

 3、寻找支持向量

寻找离超平面最近的点，即寻找到一组w，b，x使得函数值最小，而因为支持向量在超平面上，我们的损失函数输入支持向量，输出值刚好为1或-1。

即图3.2的式子，带入两个异类支持向量，再求和。得到图3.1：

图3.1

图3.2

 4、优化

使得γ最大化，即使得||w||最小。使用平方进行映射。b也是参数，它的w=1

5、拉格朗日乘数法

网上有大量篇幅介绍

核函数

参考资料1：SVM公式推导 - 知乎（很多文章未讲清楚因果，这篇讲的好，即模型已定参数未知）

参考资料2：机器学习-西瓜书（SVM）-20171006 - 知乎

参考资料3：https://www.pkudodo.com/2018/12/16/1-8/  （前言讲的清楚，推导一般）