支持向量机（SVM）

SVM要解决的问题

1. 给定训练样本，基于训练样本在空间中找到一个超平面wx+b=0，将训练样本分开并且达到划分效果最好
   
   可以看到，图中有多种超平面的方案，其中中间（加粗的直线）一条为最佳划分效果，具有较强的抗扰性

函数间隔和几何间隔

1.为了定量的衡量中间超平面的性能，一个很自然的想法所有样本点到超平面的距离最大就是最好的超平面，所以引入函数间隔和几何间隔
2…函数间隔
定义样本点能够被正确分类的函数间隔：

函数间隔在一定程度上能够表现被划分的样本点到超平面的间隔，能够找到离超平面最近的样本的最大函数间隔就是最好的超平面，但是只有函数间隔还不够，只要成倍增加w和b，就能无限增大函数间隔
3.几何间隔，样本点到超平面的距离

其中||w||为w的二阶范数（范数是一个类似于模的表示长度的概念），求法可以直接先求平面情况下点到直线的距离可以顺利求得此公式，点到平面的距离公式和点到直线的距离公式：

γ的值是会是有正负之分，定义样本能正确分类xi与超平面的距离就是几何间隔描述了样本到超平面的实际间隔距离;

间隔最大化模型

有几何间隔和函数间隔，就可以用来表示要解决的问题，希望得到一个所有样本点中离超平面最近的样本的，同时希望这个样本点离超平面的距离最大

描述：γ为几何间隔中最小的值，约束条件为，所有的几何间隔都大于γ
可以引入函数间隔如下：有函数间隔和几何间隔的关系
可以得到

在不影响最优化约束问题的前提下令函数间隔等于1得到：

模型求解

拉格朗日对偶问题

1.带有等式约束和不等式约束的最优化原始问题

2.转化为原问题的等价拉格朗日乘子等式

可以看到引入了参数α和β，在满足约束的情况下后两项是小于等于零的，所以我么先求等式的最大值（固定x,以α,β为变量求此时的最大值），使得L（x,α,β）=f(x)，再求等式的最小值（固定了α,β，以x为变量此时的最小值）就是原约束问题的等价：

3.转化对偶问题
转化对偶问题的思路是，把上文中提到的极小极大值问题转化为极大极小值问题：可以先求等式的最小值（固定α,β参数，求得x在定义域中的最小值，此时的最小值是没有约束的最小值[需要注意的是这里不是可行域]），再求等式的最大值（此时已经固定了x,再以）