机器学习——支持向量机主要思想

概念：支持向量运算的分类器，在数据上应用基本形式的SVM分类器就可以得到低错误的结果，能够对训练集以外的数据点做出很好的分类决策。

名词：

支持向量：离分离超平面最近的那些点，需要找到最大化支持向量到分隔超平面的距离的优化求解方式。

分割超平面：在二维空间内，分隔超平面就是一条直线，可以分开两种不同的点，在n维空间内，分隔超平面则是n-1

点到超平面的距离：也是几何距离，求d的最大间隔

函数距离：也是约束条件，当该条件成立时，最优

图形：

描述：

  如果想要求出最优的方案，则需要点到超平面的距离（分类间隔）最大，则需要求d的最大间隔。当成立时（即所有的支持向量的样本点满足这个公式），我们需要求的最大值，经过变形，则需要求的最小值。

     根据拉格朗日公式求有条件的极值问题，公式变形如下：

                           

我们添加了一个 （拉格朗日乘子），且大于等于0，对w，b分别求偏导则可得

将求出的w,b的值带入到拉格朗日公式中，求出

                     

kkt条件：

不满足的kkt条件：

 以上的推理都是在理想状态化，现实中不可能有那么刚好的分类，所以为了能够继续使用这个算法，我们在公式中引入了松弛变量，松弛变量的作用就是能够允许一些特殊的值，这个时候我们有加入了惩罚因子，也是常数C，它的作用是控制“最大化间隔”和保证大部分的点的函数间隔小于0.1，常数C并不是一成不变的，他会随着数据的更新而更新。

  公式：

约束条件：

拉格朗日公式：

求偏导：

化简：

根据以下条件：

最后化简为：

这里主要是对的范围有了变化，其他结果和理想状态化一致。