机器学习笔记：支持向量机（SVM）详细推导以及sklearn.svm.SVC的简单简介

线性可分支持向量机：

举一个简单的例子：
我们需要将下面的圆圈和叉分开

这里存在无数多条线可以将圆圈和叉分开，因此，我们要规定一个性能指标，对于每一条线，都有对应的一个性能指标。
我们将每一条可以分开圆圈和叉的线，平行的移动到可以叉到一个或几个圆圈和叉。两条线间的距离为d，同时，让这条线与两边的距离为d/2.

平行线插到的向量叫支持向量，这也是为什么支持向量机能用在小样本的训练上，因为这个方法最后做出来的线只跟支持向量有关，与其他点没有太大关系。在此可以引入定义了。

一.定义：

1. 训练数据及标签： T = {(X1,y1),(X2,y2)…,(Xn,yn)} (此处的Xi为向量，yi = +1或-1)
2. 线性模型：我们需要找到一个超平面 (W,b) $\begin{array}{r}{W}^T\cdot X+b\end{array}=0$
此处的w也是一个向量，和X同维度，b为一个常数
通过上面这个函数来确定这是一个超平面模型，再通过训练样本和一些算法算出w和b的取值，学习完成。

3. 一个训练集可分是指:
{(Xi,yi)} i = 1~N
存在（W,b），使：
对任意 i = 1~N 有：
a.若yi = 1，则 $\begin{array}{r}{W}^T\cdot X+b\end{array}\ge 0$
b.若yi = -1，则 $\begin{array}{r}{W}^T\cdot X+b\end{array}\le 0$
若yi只取+1 or -1，则可简化为 $yi\cdot (\begin{array}{r}{W}^T\cdot X+b\end{array})\ge 0$

二.优化问题（凸优化问题：二次规划问题）：

最小化： (||W||^2)/2 （此处除以2只是为了后面求导的方便）
限制条件： $yi\cdot (\begin{array}{r}{W}^T\cdot X+b\end{array})\ge 1$ (i = 1~N)

为证明上面所述，我们先要了解几个事实：

事实1. $\begin{array}{r}{W}^T\cdot X+b\end{array}=0$ 与$\begin{array}{r}a{W}^T\cdot X+ab\end{array}=0$ 是同一个平面 （a为实数）
事实2. 向量 $X_0$到超平面 $\begin{array}{r}{W}^T\cdot X+b\end{array}=0$的距离为：
d = $\frac{\begin{array}{r}{W}^T\cdot X_0+b\end{array}}{||W||}$

结合上面事实，我们可以用a去缩放，使得：（W,b）-> (aW,ab)
最终在所有的支持向量$X_0$上有：
$|\begin{array}{r}{W}^T\cdot X_0+b\end{array}|=1$
此时，支持向量与d的距离为：$\frac{1}{\Vert W\Vert }$

而其他点算出来的距离大于支持向量算出来的距离，这也是为什么要加入这个限制条件，上面限制条件中的数字1可以改成容易的整数，求出来代表的是同一个平面。

二次规划：
1.目标函数为二次项
2.限制条件为一次项
在上述条件下，要么无解，要么只有一个极值 ，而优化的方法基本上都离不开挨个搜寻，梯度下降。找到局部极值。（模拟退火算法能更好的寻找全局最优解，这里不做展开了）

支持向量机将整个问题化成一个凸优化问题，在凸优化问题下，将有一个最优解。

关于原问题与对偶问题的转化将在后面处理非线性中讲到，是类似的。

SVM处理非线性：

1.最小化：$\frac{1}{2}{\Vert W\Vert }^2+C{\sum }_{i=1}^N{\xi }_i$ （${\xi }_i$为松弛变量）

2.限制条件：
a. $yi\cdot (\begin{array}{r}{W}^T\cdot X_i+b\end{array})\ge 1-{\xi }_i$
b.${\xi }_i\ge 0$ (i = 1 ~ K)

当.${\xi }_i$特别大时，a式子很容易成立，但是优化问题会变得非常发散，因此，需要$C{\sum }_{i=1}^N{\xi }_i$中的系数C来让平衡两个任务
1.最小化$\frac{1}{2}{\frac{1}{\Vert W\Vert }}^2$
2.限制${\xi }_i$的大小，让${\xi }_i$比较的小
其中yi,$X_i$ 为已知的，要求的未知量是W，${\xi }_i$，b
$C{\sum }_{i=1}^N{\xi }_i$ 叫做正则项
C是一个事先设定的参数，一般来说可以给一个数列来带进去不断地尝试，但就上面的处理是可能不够的。
比如上面这个图片（我随手画的，好丑(ಥ_ಥ)）虽然我们能一眼看出用一个怎么样是比较好的，但是用上面的方法做不了（找一条直线）。因此，我们可以将这些点映射到更高维$\phi \left(x\right)$
$X\frac{\phi }{}>$$\phi \left(x\right)$

换句话说，在低维空间线性不可分的一些数据集到高维的空间有更大的概率被分开。
在这里举一个例子：

对于上面这个图，我们找不出一条直线，能将圆圈和叉分开。
假设：
X1 = $\left[\begin{array}{c}0\\ 0\end{array}\right]$,X2 = $\left[\begin{array}{c}1\\ 1\end{array}\right]$,X3 = $\left[\begin{array}{c}1\\ 0\end{array}\right]$,X4 = $\left[\begin{array}{c}0\\ 1\end{array}\right]$
其中X1，X2为叉，X3，X4为圆圈。这里可以通过这样的映射（多项式回归）：
X = $\left[\begin{array}{c}a\\ b\end{array}\right]$$\frac{\phi }{}>$ ${\phi }_{(\times )}=\left[\begin{array}{c}{a}^2\\ b^2\\ a\\ b\\ ab\end{array}\right]$
带入得到：

${\phi }_{(\times 1)}=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 0\end{array}\right]$， ${\phi }_{(\times 2)}=\left[\begin{array}{c}1\\ 1\\ 1\\ 1\\ 1\end{array}\right]$，${\phi }_{(\times 3)}=\left[\begin{array}{c}1\\ 0\\ 1\\ 0\\ 0\end{array}\right]$ ${\phi }_{(\times 4)}=\left[\begin{array}{c}0\\ 1\\ 0\\ 1\\ 0\end{array}\right]$

在此，因为维度已经改变，在$yi\cdot (\begin{array}{r}{W}^T\cdot X_i+b\end{array})\ge 1-{\xi }_i$中的W也应该改变为与$\phi \left(x\right)$同维。同时将Xi换成$\phi \left(xi\right)$。在这里W是五维的，而b始终是个常数。
可以将上面的$\phi \left(xi\right)$回代，得到不止一组解。这里给出一组解：
$W=\left[\begin{array}{c}-1\\ -1\\ -1\\ -1\\ 6\end{array}\right]$
有相关证明，在空间内取随机的点，标上圆圈或叉，维度越高时，
分开的概率越大，在无限维分开的概率为1
${\phi }_{(\times )}$是无限维，但是直接将无限维带入是无法处理的。这里SVM有一个非常有趣的处理方法：
我们可以不知道无限维映射${\phi }_{(\times )}$的显式表达式，我们只需要知道一个核函数：
K(x1,x2) = ${\phi }_{\left(x_1\right)}^T{\phi }_{\left(x_2\right)}$
则这个优化式仍然可解。

这里可以两张图来方便理解
可以很明显的看到，在二维无法分开的点，映射到三维就能用一个超平面分开
（图片来自https://blog.csdn.net/v_july_v/article/details/7624837）

SVM中常见的核函数：

1. 线性核函数 LINEAR：

线性核，主要用于线性可分的情况。我们可以看到特征空间到输入空间的维度是一样的，其参数少|速度快。对于线性可分数据，其分类效果很理想，因此我们通常首先尝试用线性核函数来做分类，看看效果如何，如果不行再换别的。

2.高斯径向基核函数 RBF：

高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。

3.多项式核函数 POLY：

多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度会大到无法计算。

4.神经元的非线性作用核函数 Sigmoid：

采用sigmoid核函数，支持向量机实现的就是一种多层神经网络。

因此，在选用核函数的时候，如果我们对我们的数据有一定的先验知识，就利用先验来选择符合数据分布的核函数；如果不知道的话，通常使用交叉验证1的方法，来试用不同的核函数，误差最小的即为效果最好的核函数，或者也可以将多个核函数结合起来，形成混合核函数。在吴恩达的课上，也曾经给出过一系列的选择核函数的方法：

如果特征的数量大到和样本数量差不多，则选用LR或者线性核的SVM； 如果特征的数量小，样本的数量正常，则选用SVM+高斯核函数；
如果特征的数量小，而样本的数量很大，则需要手工添加一些特征从而变成第一种情况。

其中核函数能被拆开的充要条件:(详细证明可以去看泛函分析里的Mercer’s Theorem)
1.K(X1,X2) = K(X2,X1) （交换性）
2.任意一个Ci（常数），Xi（向量） （i = 1~N），有： （半正定性）
${\sum }_{i=1}^N{\sum }_{j=1}^N{C}_i{C}_j\ge 0$

在已知了核函数的情况下，接下来要做的是去解上面的优化问题。

原问题与对偶问题：

首先提提优化理论的知识：

原问题：

最小化：f(w）
限制条件：
. $g_i(w)\le 0$ (i = 1~K)
. $h_i(w)=0$ (i = 1~M)

对偶问题：

1.定义：

L(w,$\alpha$,$\beta$) = $f(w)$+ ${\sum }_{i=1}^K{\alpha }_i{g}_i(w)+{\sum }_{i=1}^M{\beta }_i{h}_i(w)$
也可以写成向量形式 = f(w) + ${\sum }_{i=1}^K{\alpha }_i^T{g}_i(w)+{\sum }_{i=1}^M{\beta }_i^T{h}_i(w)$

2.对偶问题的定义：

最大化: θ ( α , β ) = i n f { L ( w , α , β ) } \theta(\alpha,\beta) = inf\left\{ L(w,\alpha,\beta)\right\} θ(α,β)=inf{L(w,α,β)}
在限定$\alpha$,$\beta$取值的情况下，去遍历所有的w，来求最小值。相当于对所有的w求最小值，再在外面针对所有的$\alpha$,$\beta$求最大值
限制条件${\alpha }_i\ge 0$ （ i= 1~K）

原问题与对偶问题的关系：

定理：如果$w^{\ast }$ 是原问题的解，而${\alpha }^{\ast }$,${\beta }^{\ast }$是对偶问题的解，
则有：
$f(w^{\ast })\ge \theta ({\alpha }^{\ast },{\beta }^{\ast })$
证明：
θ ( α ∗ , β ∗ ) = i n f { L ( w , α ∗ , β ∗ ) } ≤ L ( w ∗ , α ∗ , β ∗ ) \theta(\alpha^*,\beta^*) = inf\left\{ L(w,\alpha^*,\beta^*)\right\}\leq L(w^*,\alpha^*,\beta^*) θ(α∗,β∗)=inf{L(w,α∗,β∗)}≤L(w∗,α∗,β∗)
前面一项是最小值，必定小于等于某一个特定的w所带入得到的值。
而$L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=f(w)+{\sum }_{i=1}^K{\alpha }_i{g}_i(w)+{\sum }_{i=1}^M{\beta }_i{h}_i(w)$
又因为已经是原问题的解了，即满足原问题中的限制条件：
. $g_i(w)\le 0$ (i = 1~K)
. $h_i(w)=0$ (i = 1~M)
将限制条件带入上式即可得到：$f(w^{\ast })\ge \theta ({\alpha }^{\ast },{\beta }^{\ast })$

原问题与对偶问题的间距：

定义：G = $f(w^{\ast })-\theta ({\alpha }^{\ast },{\beta }^{\ast })\ge 0$
G叫做原问题与对偶问题的间距
(对于某些特定优化问题，可以证明：G = 0)

强对偶定理：

若$f(w)$为凸函数，且$g(w)=Aw+b$, $h(w)=CW+d$,则此优化问题的原问题与对偶问题间距为0，即：
$f(w^{\ast })=\theta ({\alpha }^{\ast },{\beta }^{\ast })$

KKT条件：

再回头看$f(w^{\ast })\ge \theta ({\alpha }^{\ast },{\beta }^{\ast })$的证明过程，可以很容易的推出：
对于任意的 i = 1~K,(KKT条件)
${\alpha }_i^{\ast }$ = 0
或者$g_i^{\ast }$ = 0 （这两个为0时可以正好满足强对偶关系）

原问题化为对偶问题：

原问题：

首先，将之前处理非线性问题得到的列在这里：
最小化：$\frac{1}{2}{\Vert W\Vert }^2+C{\sum }_{i=1}^N{\xi }_i$
限制条件：
a. $yi\cdot (\begin{array}{r}{W}^T\cdot \phi \left(x_i\right)+b\end{array})\ge 1-{\xi }_i$
b.${\xi }_i\ge 0$ （i = 1~K）

最小化：f(w）
限制条件：
. $g_i(w)\le 0$ (i = 1~K)
. $h_i(w)=0$ (i = 1~M)
前面的非线性的对应着$f(w)$，在这里可以证明该函数为凸函数，再对比限制条件，我们发现两边不太一样，因此需要稍微修改一下：

限制条件：
改变使${\xi }_i\le 0$
因此这里也要变号$\frac{1}{2}{\Vert W\Vert }^2-C{\sum }_{i=1}^N{\xi }_i$
再将非线性中的限制条件a修改一下：
$0\ge 1+{\xi }_i-yi\cdot (\begin{array}{r}{W}^T\cdot \phi \left(x_i\right)+b\end{array})$

和原问题就行对比，发现前面的$gi(w)\le 0$ 分成了两个问题，对应着另外两个的两个限制条件，没有h（w）

对偶问题：
将上面式子带入L(w,$\alpha$,$\beta$) 得：
最大化：$\theta (\alpha ,\beta )=inf\left\{\frac{1}{2}{\Vert W\Vert }^2-C{\sum }_{i=1}^N{\xi }_i+{\sum }_{i=1}^N{\alpha }_i[1+{\xi }_i-yi\cdot (\begin{array}{r}{W}^T\cdot \phi \left(x_i\right)+b\end{array})]+{\sum }_{i=1}^N{\beta }_i{\xi }_i\right\}$
(遍历所有的$w,{\xi }_i,b$，L(w,$\alpha$,$\beta$) 中的$\alpha$对应这里面的$\alpha$，$\beta$，因为所有$\alpha$在L中对应着不等式部分，L中的$\beta$对应着等式部分，在这个式子中没有)
限制条件为:

${\alpha }_i\ge 0$
${\beta }_i\ge 0$ (i = 1~N )

根据拉格朗日乘子法，对原方程求偏导，让三个偏导为0
对向量求导定义：$\frac{\partial f}{\partial W}=\left[\frac{\partial f}{\partial W_i}\right]$ (i = 1~N) (应该是竖着N个，但我这里不方便写)

(上图中的xi应该改为$\phi \left(X_i\right)$,ri应该为${\beta }_i$)
当上面条件满足时，达到最小。因此，将上式带入即可：

可以化简得到：
$\theta (\alpha ,\beta )={\sum }_{i=1}^N{\alpha }_i+\frac{1}{2}{\Vert W\Vert }^2-{\sum }_{i=1}^N{\alpha }_i{y}_i{W}^T{\phi }_{(Xi)}$

其中：
$\frac{1}{2}{\Vert W\Vert }^2$ = $\frac{1}{2}{W}^{T}W=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_{i}yj{\phi }_{(Xi)}^T{\phi }_{(Xj)}$
${\phi }_{(Xi)}^T{\phi }_{(Xj)}$ 恰好是K(Xi,Xj),核函数，消掉了$\phi$

另一项：
${\sum }_{i=1}^N{\alpha }_i{y}_i{W}^T{\phi }_{(Xi)}={\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{\phi }_{(Xi)}^T{\phi }_{(Xj)}$
这里又恰好有核函数，可以将${\phi }_{(Xi)}^T{\phi }_{(Xj)}$换成K(XI,Xj)

带入$\theta$得：
最大化：$\theta (\alpha ,\beta )={\sum }_{i=1}^N{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(Xi,Xj)$

限制条件：

1. $0\le \alpha \le C$
2. ${\sum }_{i=1}^N{\alpha }_i{y}_i=0$

由之前的限制条件${\alpha }_i\ge 0$ ,${\beta }_i\ge 0$ 加上上面求偏导时得到的${\alpha }_i+{\beta }_i=C$可以推出限制条件1，第二个限制条件和之前的相同

这个算法还有一点非常巧妙，在最后我们甚至可以不需要知道$W$

回到问题的最开始：

将X换成$\phi (X)$
$W^T\cdot \phi (X_{})={\sum }_{i=1}^N[{\alpha }_{i}yi\phi (Xi){]}^T{\phi }_{(X)}={\sum }_{i=1}^N{\alpha }_{i}yiK(Xi,X)$
这里就成功的将W转换为其他参数了

而常数b则需要用的KKT条件了：

KKT：
对于任意的 i = 1~K,(KKT条件)
${\alpha }_i^{\ast }$ = 0
或者$g_i^{\ast }$ = 0

这里将最开始带入L时得到的关系式子再复制过来：
$\theta (\alpha ,\beta )=inf\left\{\frac{1}{2}{\Vert W\Vert }^2-C{\sum }_{i=1}^N{\xi }_i+{\sum }_{i=1}^N{\alpha }_i[1+{\xi }_i-yi\cdot (\begin{array}{r}{W}^T\cdot \phi \left(x_i\right)+b\end{array})]+{\sum }_{i=1}^N{\beta }_i{\xi }_i\right\}$
(遍历所有的$w,{\xi }_i,b$，L(w,$\alpha$,$\beta$) 中的$\alpha$对应这里面的$\alpha$
与KKT相对照，我们可以得到：
1.要么 ${\beta }_i=0$ ,要么${\xi }_i=0$
2.要么${\alpha }_i=0$ ,要么$1+{\xi }_i-yi\cdot (\begin{array}{r}{W}^T\cdot \phi \left(x_i\right)+b\end{array})=0$

取一个$0<{\alpha }_i<C$,即${\beta }_i>0$(当然，也可以取所有，再求b平均值，得到的b值更准确)
此时${\xi }_i=0$，$1+{\xi }_i-yi\cdot (\begin{array}{r}{W}^T\cdot \phi \left(x_i\right)+b\end{array})=0$
而之前又推出了$W^T\cdot \phi (X_{})={\sum }_{i=1}^N[{\alpha }_{i}yi\phi (Xi){]}^T{\phi }_{(X)}={\sum }_{i=1}^N{\alpha }_{i}yiK(Xi,X)$
因此只需带入解出来即可。
$b=\frac{1-y_i{\sum }_{i=1}^N{\alpha }_{i}yiK(Xi,X)}{y_i}$

至此，结束。

sklearn.svm.SVC的简介:

sklearn.svm.SVC
(C=1.0, kernel=‘rbf’, degree=3, gamma=‘auto’, coef0=0.0, shrinking=True, probability=False,tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=None,random_state=None)

参数：

C：C-SVC的惩罚参数C?默认值是1.0
C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。

kernel ：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’

– 线性：u’v

– 多项式：(gammau’v + coef0)^degree

– RBF函数：exp(-gamma|u-v|^2)

– sigmoid：tanh(gammau’v + coef0)

degree ：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。
gamma ： ‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n_features
coef0 ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。
probability ：是否采用概率估计？.默认为False
shrinking ：是否采用shrinking heuristic方法，默认为true
tol ：停止训练的误差值大小，默认为1e-3
cache_size ：核函数cache缓存大小，默认为200
class_weight ：类别的权重，字典形式传递。设置第几类的参数C为weight*C(C-SVC中的C)
verbose ：允许冗余输出？
max_iter ：最大迭代次数。-1为无限制。
decision_function_shape ：‘ovo’, ‘ovr’ or None, default=None3
random_state ：数据洗牌时的种子值，int值
主要调节的参数有：C、kernel、degree、gamma、coef0。

参考书籍和博客以及一些书籍博客的推荐

《统计学习方法》第二版，李航；
《凸优化 》 Boyd
《数学分析 》 刘玉琏
《Machine Learning - A Probabilistic Perspective》 Kevin P. Murphy
《高等代数第四版》 北京大学数学系前代数小组 编
《PRML_Translation》 马春鹏编译
《支持向量机通俗导论（理解SVM的三层境界）》 https://blog.csdn.net/v_july_v/article/details/7624837
《深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件》 https://blog.csdn.net/lijil168/article/details/69395023
参考代码：https://github.com/wzyonggege/statistical-learning-method