对SVM最简单的理解

线性模型

总体介绍：支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。
SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面
SVM自带正则化的原因：SVM就是在逻辑回归的基础上考虑了最大间隔，可以分割数据集的超平面有许多个，但是再加上最大间隔的条件 (正则化就来源于这里，这里也就对应了损失函数中的 ||w||^2/2 ) ，则只有一个。
下面进行简单的推导：

首先我们定义超平面的表达式为：也就是我们最熟悉的逻辑回归：

这个式子在二维空间表示直线，在三维空间是一个平面，在多维空间就是我们所说的超平面，平面上一个点x到这个平面的距离N为：

所谓的几何间隔就是下面这个高中知识点。
一个点(x,y)到Ax+By+C=0，的距离公式是 ，因

两个目标：
第一：为了最大间隔化 （SVM的特色） ，也就是说我们想要找到这个间隔最大的值：即 Max (Ni) N是上文写到的点到平面距离，观察这个距离公式，想要取得最大化，那么就得将 ||w|| 最小化，刚刚好就是将里面的权重系数进行L2正则化。
第二：为了分类错误 (逻辑回归) ，所以我们要求所有的点在不仅落在这个间隔之外，还要落在正确的位置，比如属于负例的点落在了正例里面，那肯定错误啊，假设已知取得的最大间隔为γ，那么就有式子：

式子两边同除以γ，可得：
你会发现既然分母都是标量，那干脆就是直接令为W，同理令为b。
于是就诞生了：

所以将上面两个目标合起来构造损失函数：可得：

观察下面这个约束条件，你会发现，只要大于等于1就可以了，对吧，嘻嘻，那不就是nn.ReLU()
吗？？？
所以进一步改写：

其中里面的λ就是所谓的松弛变量，平衡好这两个损失。于是我们使用梯度下降优化这个损失函数，就可以得到线性的SVM结果啦

非线性模型

对于非线性模型，有两种情况：
第一：当非线性不是很严重时，比如拿掉一两个点也影响不大的话，那我们就可以继续使用线性模型，具体就是调节松弛变量，也就是上面的λ，上面的λ是平衡最大间隔与正确分类的参数，忽略掉几个点问题不大，所以继续当成线性来做即可。
第二：当非线性情况已经不可忽略时，那就得使用下面的方法咯。
其实你会发现很多非线性模型最终还是依据线性来求解，比如导向滤波，也是根据一小段一小段的线性来逼近非线性的。

基本思想：对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机。
这是二维中的情况，可以看到这个圆周明显是个非线性的

我们转化到三维空间，如下：

你看，是不是很神奇，变成线性的了，这样在三维空间里就可以按照线性来求解这个SVM。
而这个过程就需要核函数来帮忙解决，简单理解就是：非线性 SVM = 核技巧 + 线性 SVM。
我们用向量 x 表示位于原始空间中的样本，ϕ(x) 表示 x 映射到特征空间之后的新向量。
则非线性 SVM对应的分隔超平面为：f(x) = wϕ(x)+b，原先的线性是 f(x) = wx+b。
核函数：这样一种函数K(w,x),他接受低维空间的输入值，却能算出高维空间的内积值<w’,x’>
尽管给的问题是线性不可分的，但是我们就硬当它是线性问题来求解，只不过求解过程中，凡是要求内积的时候就用你选定的核函数来算。从代码实现来说，就是修改损失函数。
首先将权重W表示成X的线性组合

那么原先的y = wx就变成了以下：

原先的 变成了
1/2∑∑αi αj xi xj
上面的 xi · xj 就可以使用核函数来求解，从而变成了：

继续使用梯度下降优化该损失函数即可。