机器学习之支持向量机

支持向量机推导过程

支持向量机是机器学习中最复杂的内容之一，以下就展示支持向量机具体推导过程。
推导分为以下几个部分：

1. 数据线性可分
2. 拉格朗日乘子以及对偶问题
3. 数据部分线性可分

1. 当数据线性可分时原始优化问题推导
   支持向量机的核心在于在空间中找到一个超平面(决策平面)：
   $$w^{T}x+b=0$$使得两类样本点分布在超平面的两侧，对于正样本y=+1，满足：
   $$w^{T}x+b>0$$对于负样本y=-1，满足：
   $$w^{T}x+b<0$$假设正负样本中都有一些点离这个超平面最近，那么这些样本点所在的平面为：
   $$w^{T}x+b=\pm A$$这里A的大小没有意义，可以用1来代替，原因是A只是表示两个平面之间的相对距离的远近而已，我们想求的是绝对距离。
   绝对距离为：
   $$\frac{2}{\Vert w\Vert }$$
   样本点满足的约束为：
   $$\begin{array}{l}{w}^T{x}_i+b\ge 1,for{y}_i=1\\ w^T{x}_i+b\le -1,for{y}_i=-1\end{array}$$即：
   $$y_i(w^T{x}_i+b)\ge 1$$支持向量机的分类方法就是让离超平面最近的正负样本所在的平面之间的距离尽可能大，因此问题转化成一个最优化问题：
   $$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2\\ s.t.y_i\left(w^T{x}_i+b\right)\ge 1,i=1,2,...,n\end{array}$$

2. 原始问题转化成对偶问题
   由于原始问题存在约束条件，为了简化问题，我们想到将目标函数和约束融入一个新的函数，也就是拉格朗日函数，通过这个函数来寻找最值。
   原始问题的拉格朗日函数为：
   $$L=\frac{1}{2}{\Vert w\Vert }^2+\sum _{i=1}^n$$