经典机器学习系列(八)【支持向量机】

  支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的 ，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够 推广应用到函数拟合等其他机器学习问题中。

  1963年，Vapnik在解决模式识别问题时提出了支持向量方法，这种方法从训练集中选择一 组特征子集，使得对特征子集的划分等价于对整个数据集的划分，这组特征子集就被称为 支持向量(Support Vector，SV)；

  1971年，Kimeldorf提出使用线性不等约束重新构 造SV的核空间,解决了一部分线性不可分问题；1990年，Grace、Boser和Vapnik等人开始对SVM进行研究； 1995年，Vapnik正式提出统计学习理论。

SVM涉及的相关概念

  支持向量机和线性分类器(如逻辑回归)都是线性模型。虽然SVM是线性模型，但是它的求解过程要比线性模型困难不少。

1. 它是一种最大间隔的线性分类器，它只会考虑在decision bound比较近的这些点，而在逻辑回归问题中，即使离决策边界很远，它还是会产生一个loss function。
2. 通过核函数可以做非线性的问题。

  对于分类问题，分开两类数据其实有很多种解法，那哪一种解法是最好的呢？也就是说SVM是从线性可分情况下的最优分类面发展而来，最优分类面就是要求分类线不但能将 两类正确分开，且使分类间隔最大(分类间隔最大能够使得算法在测试数据集上取得较好效果，或者说数据本身存在噪声，较大的分类间隔能够取得较好效果)。

  SVM考虑寻找一个满足分类要求的超平面,并 且使训练集中的点距离分类面尽可能的远,也 就是寻找一个分类面使它两侧的空白区域 (margin)最大。这与逻辑回归算法不一样，在逻辑回归算法中所有的点都会影响分类边界，而在SVM 算法中不会，它更多考虑的是支持向量。

  过两类样本中离分类面最近的点且平行于最 优分类面的超平面上$H_1$，$H_2$的训练样本就叫 做支持向量。

分类任务

  分类任务就是确定对象属于哪个预定义的目标类。分类任务的输入数据是记录的集合，每条记录也称为实例或样例，用元组($x,y$) 表示，其中 $x$ 是属性的 集合，$y$ 是类标记（也称目标属性）。在回归模型中，目标属性值是连续的； 而在分类模型中，目标属性是离散的。

  考虑二分类任务，其目标属性为 y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}，而线性回归模型参数的预测值$z=w^{T}x+b$是实值，于是我们需要将实值$z$通过Sigmoid函数转换为0或1。Sigmoid函数定义如下：

  Logistic回归：目的是从特征中学习出一个0/1分类模型，这个模型是将特征的线性组合作为自变量，由于自变量的取值范围是($-\infty ,+\infty$)。因此使用Sigmoid函数将自变量映射到(0,1)上，映射后的值被认为是属于$y=1$的概率。假设函数为：

$$h_{\theta }(x)=g\left({\theta }^{T}x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

  根据Sigmoid函数的特性，假设：

$$p(y=1|x;\theta )=h_{\theta }(x)$$

$$p(y=0|x;\theta )=1-h_{\theta }(x)$$

  上式表示，已知样本$x$和参数$\theta$的情况下，样本$x$属于正样本($y=1$)和负样本($y=0$)的条件概率：若$h_{\theta }(x)>0.5$则属于正样本，反之属于负样本。当然在实际操作过程中你可以把这个值设置地大一点，使得在测试过程中效果更好。

分类任务进一步理解

  从上面可以看出，$h_{\theta }(x)$只和${\theta }^{T}x$有关，${\theta }^{T}x>0$，那么$h_{\theta }(x)>0.5$，$g(z)$只是用来映射的，真实的类别决定权在于${\theta }^{T}x$。当 ${\theta }^{T}x>>0$时，$h_{\theta }(x)$趋于1，反之趋于0。如果我们只从${\theta }^{T}x$出发，那么模型应该尽可能的让训练数据中$y=1$的特征${\theta }^{T}x>>0$，而$y=0$的特征${\theta }^{T}x<<0$。

  因此Logistic回归就是要学习得到参数$\theta$，使得正例的特征远远大于0，负例的特征远远小于0，而且要在全部训练数据上达到这个目标。

  将目标属性 y ∈ { 0 , 1 } y \in \{0,1\} y∈{0,1}替换为 y ∈ { − 1 , 1 } y \in \{-1,1\} y∈{−1,1}，再将${\theta }^{T}x$改写为$w^{T}x+b$，可以看出：线性分类函数跟Logistic回归的形式化表示$h_{\theta }(x)=g({\theta }^{T}x)=g(w^{T}x+b)$没有区别。将假设函数$h_{w,b}(x)=g(w^{T}x+b)$中的$g(x)$做一个简化，将其映射到$y=-1$和$y=1$上，映射如下：

$$g(z)=\{\begin{array}{ll}1,& z⩾0\\ -1,& z<0\end{array}$$

• 线性可分数据集

  需要注意的是：对于上述问题我们需要数据集是线性可分的，不然不管如何分类都找不到这样一个平面。

  线性可分数据集：存在某个超平面$S$能够将数据集的正实例和负实例完全划分 到超平面的两侧，则称为线性可分数据集；否则，线性不可分。

  上图中的这些数据就是线性可分的，所以可以用一条直线将这两类数据分开，二维中是一条直线，多维中就是一个超平面。

  这个超平面可以用分类函数$f(x)=w^{T}x+b$表示，在进行分类时，将$x$代入$f(x)$中，$f(x)=0$表示数据点在超平面上；$f(x)>0$对应$y=1$的数据点；$f(x)<0$对应$y=-1$的数据点。

SVM算法

SVM所要解决的问题

  假定给定数据图，圆的为正类，方的为负类，要想通过一个划分超平面（这里是二维，所以是条直线）将不同类别的样本分开。从图中可以看出，能将训练样本分开的划分超平面可能有很多，但是我们应该去选择哪一个呢？

  直观上，我们应该选择中间红色的那个，因为它对于 训练样本局部扰动的“容忍”性最好；

  比如，训练集外的样本可能比图中的样本更接近两类 的划分超平面，这将使许多划分超平面出现错误，而 红色的超平面受到的影响是最小的，也就是说，这个 划分超平面的分类结果是最鲁棒的，对未知样本的泛 化能力最强。

  在所有的划分超平面中，有一个平面是最好的，它可以尽可能地让所有的样本点都离该划分 超平面最远，这就是SVM要做的。

函数间隔

  有三个实例$A、B、C$均在划分超平面的正类一侧，点$A$举例超平面较远，若预测为正类，叫比较确信预测是正确的；点$C$距离超平面较近，若预测为正类就不那么确信了；点$B$介于$A$、$C$之间，预测其为正类的确信度也在$A$、$C$之间。

  一般来说，一个点距离超平面的远近可以相对地表示分类预测的确信程度。

  可以看出：当一个点$x$被正确预测时，那么$w^{T}x+b$的符号与类标记$y$的符号相同，因而所以可用$y(w^{T}x+b)$来表示分类的正确性及确信度；

  对于给定的训练数据集$T$和超平面($w,b$)：

  定义超平面($w,b$)关于样本点$x_i$的函数间隔为${\delta }_i=y_i(w^{T}x+b)$。

  定义超平面($w,b$)关于数据集$T$的函数间隔为超平面($w,b$)关于$T$中所有样本点的函数间隔的最小值 δ = m i n { δ i , x i ∈ T } \delta =min\{\delta_{i},x_{i} \in T\} δ=min{δi​,xi​∈T}。

几何间隔

• $w$为平面$w^{T}x+b=0$ 的法向量

  取超平面任意点$x^{\prime }$和$x^{\prime \prime }$，满足$w^T{x}^{\prime }+b=0$和$w^T{x}^{\prime \prime }+b=0$，将两式相减，得到$w^T(x^{\prime }-x^{\prime \prime })=0$，由于$x^{\prime }-x^{\prime \prime }$表示平面上的任意向量，而向量$w$和它们的点乘为0，说明$w$是这个平面的法向量。

• 点$x_0$到超平面$S$：$w^{T}x+b$=0的距离$d$(d为正值)。即$|\overrightarrow{x_0{x}_1}|=d$。

  设$x_0$在平面$S$上的投影为$x_1$，则有$w^T{x}_1+b$=0；由向量$\overrightarrow{x_0{x}_1}$与平面$S$的法向量$w$平行，即两个向量的夹角余弦等于1，可知：

$$\left|w{\overrightarrow{x_{0}x}}_1\right|=\sqrt{{\left(w^1\right)}^2+{\left(w^2\right)}^2+\dots +{\left(w^N\right)}^2}d=\Vert w\Vert d$$

  另外，直接计算其内积，可以得到：

$$w\cdot {\overrightarrow{x_{0}x}}_1=w^1\left(x_0^1-x_1^1\right)+w^2\left(x_0^2-x_1^2\right)+\dots +w^N\left(x_0^N-x_1^N\right)=w^1{x}_0^1+w^2{x}_0^2+\dots +w^N{x}_0^N-\left(w^1{x}_1^1+w^2{x}_1^2+\dots +w^N{x}_1^N\right)$$

  由于有$w^{T}x+b=0$，因此上式等于：$=w^1{x}_0^1+w^2{x}_0^2+\dots +w^N{x}_0^N-(-b)$

  因此，可以等到：$\Vert w\Vert d=\left|w\cdot x_0+b\right|$，从而距离$d$的计算公式为：$d=\frac{|w\cdot x_0+b|}{\Vert w\Vert }$。

• 对于给定的训练数据集$T$和超平面($w,b$)：

  定义超平面($w,b$)关于样本点($x_i,y_i$)的几何间隔公式如下，它一般是样本点到超平面的带符号的距离，当样本点被超平面正确分类时，就是样本点到超平面的距离(将每个样本点$x_i$带入距离计算公式 $d=\frac{|w\cdot x_0+b|}{\Vert w\Vert }$)。

$${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$$

  定义超平面($w,b$)关于数据集$T$的几何间隔为超平面($w,b$) 关于$T$中所有样本点($x_i,y_i$)的几何间隔的最小值 γ = min ⁡ { γ i , ( x i , y i ) ∈ T } \gamma=\min \left\{\gamma_{i},\left(x_{i}, y_{i}\right) \in T\right\} γ=min{γi​,(xi​,yi​)∈T}，表示为距离超平面距离最小的那个样本。此时相当于能够找到支持向量所对应的样本，通过调整参数$w$让其几何间隔最大，就是SVM所要做的事情。

  几何间隔与函数间隔的关系为： $\gamma =\delta /\Vert w\Vert$。

  如果超平面的参数$w$和$b$成比例的改变（超平面没有变），函数间隔也按此比例改变， 但是几何间隔不变。

  支持向量的函数间隔为1，SVM的优化目标为：

$$\begin{array}{rl}\underset{\omega ,b}{\max }& \frac{1}{\Vert w\Vert }\text{ (non-convex objective) }\\ & \text{ s.t. }{y}^{(i)}\left(w^{\top }{x}^{(i)}+b\right)\ge 1,i=1,\dots ,m\end{array}$$

  约束条件表示的是最大化的一定是支持向量。要求解上述问题我们需要一定的凸优化基础，接下来简要介绍一下所需数学知识部分。

凸优化基础

拉格朗日对偶性 – 原问题

  假设$f(x)$，$c_i(x)$，$h_j(x)$是定义在$R^n$上的连续可微函数，称以下的约束最优化问题 为原问题：

$$\begin{array}{ll}{\min }_{x\in R^n}& f(x)\\ \text{s.t.}& c_i(x)\le 0,i=1,2,\cdots ,k\\ & h_j(x)=0,j=1,2,\cdots ,l\end{array}$$

  对于上述约束化问题首先引入拉格朗日函数 ( 将等式和不等式约束融入到一个目标函数中去，从而只用一个函数表达我们的问题。)：

$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

  其中，$x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^T\in R^n$，${\alpha }_i$，${\beta }_j$是拉格朗日乘子，${\alpha }_i\ge 0$。

• 构建关于$x$的函数：${\theta }_P(x)={\max }_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )$。

• 假设给定某个违反原始问题约束条件的$x$，即存在某个$i$使得$c_i(x)>0$或$h_j(x)\ne 0$。

  若$c_i(x)>0$，可令${\alpha }_i\to +\infty$，使得${\theta }_P(x)=+\infty$；若$h_i(x)\ne 0$，可令${\beta }_j$ 使${\beta }_j{h}_j(x)\to +\infty$，使得${\theta }_P(x)=+\infty$。将其余${\alpha }_i$，${\beta }_j$均取值为0。即：

$${\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\left[f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\right]=+\infty$$

  假设给定某个符合原始问题约束条件的$x$，即$c_i(x)\le 0$ 且 $h_j(x)=0$，则：

$${\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\left[f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\right]=f(x)$$

  由以上两个式子可以得到：

$${\theta }_P(x)=\{\begin{array}{l}f(x),x\text{ 满足原始问题约束}\\ +\infty ,\text{否则}\end{array}$$

  则极小化问题 ${\theta }_P(x)$ 有：

$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$

  与原问题等价，即有相同的解。（因为当趋向无穷时，问题无解，因此必须 满足约束条件）。

• 广义拉格朗日函数的极小极大问题：${\min }_x{\max }_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )$。

拉格朗日对偶性 – 对偶问题

• 构建关于$\alpha$ 和 $\beta$ 的函数：

$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$

• 则其极大化问题称为广义拉格朗日函数的极大极小问题

$$\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$

• 将其表示为约束最优化问题，称为原始问题的对偶问题

$$\begin{array}{rl}\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=& \underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\\ \text{ s.t. }& {\alpha }_i\ge 0,i=1,2,\cdots ,k\end{array}$$

原问题与对偶问题之间的关系

• 弱对偶性：若原始问题与对偶问题都有最优解，则对偶问题最优解与原问题最优解具备以下关系：

$$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$

• 强对偶性：满足 $d^{\ast }=p^{\ast }$
• 强对偶是一个非常好的性质，因为在强对偶成立的情况下，可以通过求解对偶问题来得到 原始问题的解，在 SVM 中就是这样做的。
• 当然并不是所有的对偶问题都满足强对偶性 ，在 SVM 中是直接假定了强对偶性的成立， 其实只要满足一些条件，强对偶性是成立的，比如说 KKT条件。

  KKT条件：对于原始问题及其对偶问题，假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，且不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有$c_i(x)<0$，则存在$x^{\ast }$，${\alpha }^{\ast }$，${\beta }^{\ast }$，使$x^{\ast }$是原始问题的解，${\alpha }^{\ast }$，${\beta }^{\ast }$是对偶问题的解的充分必要条件是 $x^{\ast }$，${\alpha }^{\ast }$，${\beta }^{\ast }$满足下面的Karush-Kuhn-Tucker (KKT)条件：

∇ x L ( x ∗ , α ∗ , β ∗ ) = 0 α i ∗ c i ( x ∗ ) = 0 , i = 1 , 2 , ⋯   , k c i ( x ∗ ) ≤ 0 , i = 1 , 2 , ⋯   , k α i ∗ ≥ 0 , i = 1 , 2 , ⋯   , k h j ( x ∗ ) = 0 , j = 1 , 2 , ⋯   , l \begin{aligned} &\nabla_{x} L\left(x^{*}, \alpha^{*}, \beta^{*}\right)=0\\ &\alpha_{i}^{*} c_{i}\left(x^{*}\right)=0, \quad i=1,2, \cdots, k\\ &c_{i}\left(x^{*}\right) \leq 0, \quad i=1,2, \cdots, k\\ &\alpha_{i}^{*} \geq 0, \quad i=1,2, \cdots, k\\ &h_{j}\left(x^{*}\right)=0, \quad j=1,2, \cdots, l \end{aligned} ​∇x​L(x∗,α∗,β∗)=0αi∗​ci​(x∗)=0,i=1,2,⋯,kci​(x∗)≤0,i=1,2,⋯,kαi∗​≥0,i=1,2,⋯,khj​(x∗)=0,j=1,2,⋯,l​

线性可分支持向量机

线性可分SVM

  设有如下两类样本的训练集：

D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}

  线性可分情况意味着存在超平面，使训练点中的正类和负类样本分别位于该超平面的两侧。

$$w\cdot x+b=0$$

  如果能确定这样的参数对($w,b$) 的话，就可以构造决策函数来进行识别新样本。

$$f(x)=sgn(w\cdot x+b)$$

硬间隔最大化

  存在的问题：这样的参数对($w,b$)有许多。

  解决办法是采用最大间隔原则：即选择使得训练集 $D$ 对于线性函数 $w\cdot x+b$ 的几何间隔取最大值的参数对($w,b$)，并由此构造优化问题。

  目标函数：

$$\max M=\frac{2}{\Vert w\Vert }\Rightarrow \min \frac{1}{2}{w}^{T}w$$

  约束条件：

$$\begin{array}{rlr}w\cdot x_i+b\ge 1& \text{ if }& y_i=+1\\ w\cdot x_i+b\le -1& \text{ if }& y_i=-1\\ y_i\left(w\cdot x_i+b\right)& -1\ge 0& \end{array}$$

基于对偶的线性可分SVM学习算法

  构建拉格朗日对偶函数：$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-{\sum }_{i=1}^N{\alpha }_i\left[y_i(w\cdot x+b)-1\right]$

  根据拉格朗日对偶性，原问题的对偶问题是极大极小问题：${\max }_{\alpha }{\min }_{w,b}L(w,b,\alpha )$ 即需要先求$L(w,b,\alpha )$ 对$w,b$的极小，再求对$\alpha$的极大。

  (1) 固定$\alpha$，让$L$关于$w,b$最小化，分别对$w,b$求偏导数，令$\partial L/\partial w$和$\partial L/\partial b$等于零：

$$\begin{array}{c}{\nabla }_{w}L(w,b,\alpha )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\alpha )=0\end{array}$$

  可以得到：

$$\begin{array}{c}w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

  (2) 将结果代入拉格朗日函数中，整理后可得：

$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$$

  根据拉格朗日对偶性，原问题的对偶问题是极大极小问题：

  即需要先求$L(w,b,\alpha )$ 对$w,b$的极小，再求对$\alpha$ 的极大。

  (3) 求$mi{n}_{w,b}L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题：

$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\\ & \text{ s.t. }\sum _{i=1}^N{\alpha }_{ij}=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,N\end{array}$$

  对偶问题：

$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & x=\sum _{i=1}^N{a}_n=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,N\end{array}$$

  (4) 求解上述问题可得到最优的${\alpha }^{\ast }$ ，进而求得$w^{\ast }，b^{\ast }$，最终获得分离超平面和分类决策函数：

$$\begin{array}{c}{w}^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)\end{array}$$

  分类超平面：

$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }=0$$

  分类决策函数：

$$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }\right)$$

  以上是推导过程，实际使用过程是这样的：

1. 构造并求解最优化问题

  求得最优解：${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })$

$$\begin{array}{rl}& \underset{a}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & \text{ st }\sum _{i=1}^N{a}_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,N\end{array}$$

2. 计算$w^{\ast },b^{\ast }$：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

  选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }$，计算：

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)$$

3. 求得分离超平面：

$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }=0$$

4. 获得分类决策函数：

$$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }\right)$$

• 我们得到的原问题的对偶问题的目标函数为：

$$\underset{{\alpha }_i⩾0}{\max }L(w,b,\alpha )=\underset{{\alpha }_i\ge 0}{\max }\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}{\alpha }_i\left[y_i(w\cdot x+b)-1\right]$$

  第一项为正则化项，第二项为模型精度。

• 如果$x_i$是支持向量的话，上式中$y_i(wx+b)-1=0$ (因为此向量到分类超平面的函数间隔为1)；

• 对于非支持向量来说，函数间隔会大于1，因此会有$y_i(wx+b)-1>0$，由于有约束条件${\alpha }_i\ge 0$，因此为了满足最大化，在最优解${\alpha }^{\ast }$中，必须有${\alpha }_i=0$。

• 结构风险最小化：目标函数第二项为模型精度，第一项为正则化项，有效保证稀疏性，以降低置信风险，因而SVM是基于结构风险最小化的学习方法。

线性不可分支持向量机

线性不可分

• 设有如下两类样本的训练集：

D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}

  线性不可分情况意味着不存在这样的超平面，使训练点中的正类和负类样本能 够完全分别位于该超平面的两侧，即无法将它们完全分开。如果要用超平面来 划分的话，必然有错分的点。

$$w\cdot x+b=0$$

  现实情况：我们只会线性可分的方法；

  处理思路：允许分类误差，并且在目标函数 中引入对分类误差的惩罚。

软间隔最大化

• 允许支持向量机在一些样本上出错，需要我们将硬间隔最大化改为软间隔最大化，当然，在最大化软间隔的同时，不满足约束的样本应尽可能的少。$y_i(w\cdot x+b)=1$软间隔要求是 $y_i(w\cdot x+b)\ge 1$。

• 为了解决某些样本不满足约束的情况，对每个样本点($x_i,y_i$)引入一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1，这样约束条件就变为：

$$y_i(w\cdot x+b)\ge 1-{\xi }_i$$

• 为了避免${\xi }_i$取太大的值，需要在目标函数中对他们进行惩罚，其中$C>0$称为惩罚系数，$C$值大时，对误分类的惩罚增加，$C$值小时对误分类的惩罚减小。

$$\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$

  有了上面的思路，可以和线性可分支持向量机一样来考虑线性支持向量机的学习问题，线性不可分的线性支持向量机的学习问题就变为如下凸二次规划问题：

$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ & \text{s.t. }{y}_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,\cdots ,N\\ & {\xi }_i\ge 0,i=1,\cdots ,N\end{array}$$

• 通过求解以上凸二次规划问题，即软间隔最大化问题，得到分离超平面为：

$$w^{\ast }\cdot x+b^{\ast }=0$$

  相应的分类决策函数为：

$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

基于对偶的学习算法

  构建拉格朗日对偶函数：

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left[y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^N{\mu }_i{\xi }_i$$

  ${\alpha }_i\ge 0$，${\mu }_i\ge 0$，需要先求$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$的极小，再求对$\alpha$的极大。

  (1) 分别对$w,b,\xi$求偏导数，令$\partial L/\partial w,\partial L/\partial b,\partial L/\partial \xi$等于零：

$$\begin{array}{c}{\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0\end{array}$$

  可以推出：

$$\begin{array}{c}w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ C-{\alpha }_i-{\mu }_i=0\end{array}$$

  (2) 将结果代入拉格朗日函数中，整理后可得：

$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$$

  (3) 求$mi{n}_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$对$\alpha$的极大，即得对偶问题：

$$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\\ & \text{ s.t. }\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i⩾0\\ {\mu }_i⩾0,& i=1,2,\dots ,N\end{array}$$

  对偶问题，凸二次规划问题，有唯一的最优解：

$$\begin{array}{c}{\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ 0⩽{\alpha }_i⩽C,i=1,2,\dots ,N\end{array}$$

  (4) 求解上述问题可得到最优的${\alpha }^{\ast }$，进而求得$w^{\ast },b^{\ast }$，最终获得分离超平面和分类决策函数：

$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{\alpha }_i^{\prime }{y}_i{x}_i\\ b^{\ast }=& y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)\end{array}$$

  得到分类超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

  得到分类决策函数：

$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$$

  以上是推导过程，实际使用过程是这样的：

1. 构造并求解最优化问题

  求得最优解：${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })$

$$\begin{array}{rl}& \underset{a}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & \text{ st }\sum _{i=1}^N{a}_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,N\end{array}$$

2. 计算$w^{\ast },b^{\ast }$：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

  选择${\alpha }^{\ast }$的一个正分量$0<{\alpha }_j^{\ast }<C$，计算：

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)$$

3. 求得分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0$$

4. 获得分类决策函数：

$$f(x)=sign(w^{\ast }\cdot x)+b^{\ast }$$

软间隔支持向量

  软间隔支持向量具有以下性质：

• 软间隔的支持向量$x_i$或在间隔边界上，或在间隔边界与分离超平面之间，，或在分离超平面 误分一侧； $L(w,b,\xi ,\alpha ,\mu )$。

• 若${\alpha }_i^{\ast }<C$，则${\xi }_i=0$(前面偏导条件)，支持向量$x_i$恰好落在间隔边界上；

• 若${\alpha }_i^{\ast }=C$，$0<{\xi }_i<1$，则$y_i(w\cdot x)+b>1-{\xi }_i>0$，则正确分类，支持向量$x_i$在间隔边界与分离超平面之间；

• 若${\alpha }_i^{\ast }=C$，${\xi }_i=1$，则支持向量$x_i$在分离超平面上；

• 若${\alpha }_i^{\ast }=C$，${\xi }_i>1$，则分类错误，支持向量$x_i$在分离超平面的误分一侧。

非线性支持向量机

非线性数据

  在现实任务中，我们得到的数据一般都不是线性可分的，这时线性可分支持向 量机就不适用了。非线性数据意味着不存在这样的超平面，使训练点中的正类 和负类样本能够完全分别位于该超平面的两侧。

Kernel核函数方法

  核方法的主要思想： 基于这样一个假设：“在低维空间中不能线性分割的点集，通过转化为高维空间中的点集 时，很有可能变为线性可分的”。

  具体来说，在线性不可分的情况下，支持向量机首先在低维空间中完成计算，然后通过核 函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优的分离超平面， 从而把平面上本身不好分的非线性数据分开。

  SVM处理非线性数据的一般方法：

  选择一个非线性特征集，并将数据改写成新的表达方式，这等价于应用一个固定的非线性 映射，将数据映射到高维特征空间，在高维特征空间中使用线性分类器。

$$f(x)=\sum _{i=1}^n{w}_i{\varphi }_i(x)+b$$

  其中，$\varphi ()$ 表示从输入空间到某个高维特征空间的映射。

  这意味着线性分类方法求解非线性分类问题一般分为两步：

• 使用一个变换将原空间的数据映射到新空间。
• 在新空间里使用线性分类学习方法从训练数据中学习分类模型。

  映射函数相当于把原来的分类函数进行了映射：

$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i⟨x_i,x⟩+b$$

  映射之后为：

$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i⟨\varphi \left(x_i\right),\varphi (x)⟩+b$$

  而其中的 $\alpha$ 可以通过求解如下对偶问题得到：

$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j⟨\varphi \left(x_i\right),\varphi \left(x_j\right)⟩\\ & \text{s.t.}\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,\cdots ,n\end{array}$$

• 使用映射函数方法的再思考：

  设两个向量$x_1({\eta }_1,{\eta }_2{)}^T$和$x_2=({\xi }_1,{\xi }_2)$，而$\varphi (\cdot )$即是五维空间的映射，因此可以将$x_1,x_2$先通过$\varphi (\cdot )$映射到五维空间，然年计算内积：

$$\begin{array}{c}\varphi \left(x_1\right)={\left({\eta }_1,{\eta }_1^2,{\eta }_2,{\eta }_2^2,{\eta }_1{\eta }_2\right)}^T,\varphi \left(x_2\right)={\left({\xi }_1,{\xi }_1^2,{\xi }_2,{\xi }_2^2,{\xi }_1{\xi }_2\right)}^T\\ ⟨\varphi \left(x_1\right),\varphi \left(x_2\right)⟩={\eta }_1{\xi }_1+{\eta }_1^2{\zeta }_1^z+{\eta }_2{\zeta }_2+{\eta }_2^2{\zeta }_2^2+{\eta }_1{\eta }_2{\xi }_1^{\ast }{\xi }_2\end{array}$$

  另外，我们注意到：

$$\begin{array}{c}{\left(⟨x_1,x_2⟩+1\right)}^2={⟨x_1,x_2⟩}^2+2⟨x_1,x_2⟩+1\\ ={\left({\eta }_1{\xi }_1+{\eta }_2{\xi }_2\right)}^2+2\left({\eta }_1{\xi }_1+{\eta }_2{\xi }_2\right)+1\\ =2{\eta }_1{\xi }_1+{\eta }_1^2{\xi }_1+2{\eta }_2{\xi }_2+{\eta }_2^2{\xi }_2+2{\eta }_1{\eta }_2{\xi }_1{\xi }_2+1\end{array}$$

  可以发现，上面的两个式子有很多相同的地方，实际上，我们只需要把某几个维度线性缩放 一下，然后加上一个常数维度，具体来说，上面这个式子的计算实际上和映射效果相同：

$$\phi \left(X_1,X_2\right)={\left(\sqrt{2}{X}_1,X_1^2,\sqrt{2}{X}_2,X_2^2,\sqrt{2}{X}_1{X}_2,1\right)}^T$$

• 两种方法的区别：

  一个是映射到高维空间中，然后再根据内积的公式计算：

$$\begin{array}{c}\varphi \left(x_1\right)={\left({\eta }_1,{\eta }_1^2,{\eta }_2,{\eta }_2^2,{\eta }_1{\eta }_2\right)}^T,\varphi \left(x_2\right)={\left({\xi }_1,{\xi }_1^2,{\xi }_2,{\xi }_2^2,{\xi }_1{\xi }_2\right)}^T\\ ⟨\varphi \left(x_1\right),\varphi \left(x_2\right)⟩={\eta }_1{\xi }_1+{\eta }_1^2{\xi }_1^2+{\eta }_2{\xi }_2+{\eta }_2^2{\xi }_2^2+{\eta }_1{\eta }_2{\xi }_1{\xi }_2\end{array}$$

  而另一个则直接在原始空间中计算，而不需要显式地写出映射后的结果：

$$\phi \left(X_1,X_2\right)={\left(\sqrt{2}{X}_1,X_1^2,\sqrt{2}{X}_2,X_2^2,\sqrt{2}{X}_1{X}_2,1\right)}^T$$

  现在我们回忆下前面提到的维度爆炸，在前一种方法已经无法计算的情况下，后一种方法却 依旧能处理，甚至无穷维度也没有问题。

  我们把这里的计算两个向量在隐式映射过后在空间中的内积的函数叫做核函数，例如，前面 的例子中，核函数为，例如，前面的例子中，核函数为：

$$k\left(x_1,x_2\right)={\left(⟨x_1,x_2⟩+1\right)}^2$$

  核函数能够简化映射空间中的内积运算。

• 核函数的定义：

  设$\mathcal{X}$是输入空间，$\mathcal{H}$为特征空间，，如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射：$\varphi (x):\mathcal{X}\to \mathcal{H}$。使得对所有$x,z\in \mathcal{X}$，函数$K(x,z)$满足条件：$k(x,z)=\varphi (x)\cdot \varphi (z)$。则称$k(x,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\cdot \varphi (z)$为内积。

• 核技巧：

  在核函数$k(x,z)$给定的条件下，可以利用求解线性分类问题的方法求解非线性分类问题的支持向量机；学习是隐式地在特征空间进行，不需要显示地定义特征空间和映射函数，这样的技巧称为核技巧。

  使用核技巧，解决了计算的复杂性问题，避开了直接在高维空间中进行计算，，而结果却是等价的。

• 针对任意一个映射，手工设计出相应的核函数是很困难的，所以我们通常是在 常用的核函数中，按照问题和数据特点，进行选择：

  多项式核函数:

$$k(x_i,x_j)=(x_i^T{x}_j{)}^p$$

  $p\ge 1$为多项式的次数。

  高斯核函数：

$$k\left(x_i,x_j\right)=\exp \left(-\frac{{\Vert x_i-x_j\Vert }^2}{2{\sigma }^2}\right)$$

  $\delta \ge 1$为高斯核的带宽。在实际应用中，采用较多的是高斯核函数，这个核可以将原始空间映射为高维空间（也就是我们前面提到的空间映射）。

• 高斯核函数中参数$\sigma$对模型性能的影响。

  如果$\sigma$选得过大的话，高次特征上的权重实际上衰减的非常快，所以实际上相当于一个低维的子空间；

  性质1. 当$\sigma$趋于无穷时，SVM的判别函数为一常函数，其推广能力或对新样本的正确分类能力为零，即把所有样本点判别为同一类。

  如果$\sigma$选得过小的话，则可以将任意的数据映射为线性可分的–当然这并不完全是好事，因为随着而来的是非常严重的过拟合问题；

  性质 2. 若RBF核中尺度参数$\sigma$趋于0，则拉格朗日 乘子向量的所有分量都大于0，即全部样本点都是 支持向量。

  总的来说，通过调控参数$\sigma$，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。

  线性核函数：

$$k(x_i,x_j)=x_i^T{x}_j$$

核函数的本质

  通常我们遇到的数据都是线性不可分的，我们需要将其映射到高维空间，但是这 可能带来维度灾难；这时候，核函数便是一种很好的解决方法，核函数的价值就 在于它虽然也是将特征进行从低维到高维的映射，但是核函数的巧妙之处在于它 事先在低维上进行计算，而将实质上的分类效果表现在高维上，这样做也就避免 了在高维空间中的复杂运算。

  基于Kernel的SVM：假设现在你是一个农场主，圈养了一批羊，但为了预防狼群 袭击羊群，你需要搭建一个篱笆来把羊和狼分开，但是篱笆应该建在哪儿呢？

基于核函数的非线性支持向量机

  给定训练数据集 T = { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } T=\{(x_{1},y_{1}),\cdots , (x_{N},y_{N})\} T={(x1​,y1​),⋯,(xN​,yN​)}， y i ∈ { − 1 , + 1 } y_{i} \in \{-1,+1\} yi​∈{−1,+1}，$i=1,\cdots ,N$，训练方法：

(1) 选取适当的核函数$k(x_i,x_j)$和适当的参数$C$，构造并求解最优化问题，得到最优的 ${\alpha }^{\ast }$：

$$\begin{array}{c}{\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ 0⩽{\alpha }_i⩽C,i=1,2,\dots ,N\end{array}$$

(2) 选择${\alpha }^{\ast }$的一个分量 $0<{\alpha }_j^{\ast }<C$计算：$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_{i}K\left(x_i,x_j\right)$。

(3)构造分类决策函数：$f(x)=\mathrm{sign}\left({\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_{i}K\left(x,x_i\right)+b^{\ast }\right)$

最小二乘支持向量机

LSSVM概述

  LSSVM提出的背景

• 支持向量机是针对小样本问题，基于结构风险最小化，较好地解决了以往机器学习模型中的 过学习、非线性、维数灾难以及局部极小值等问题，具有较好的泛化能力；

• 然而，该方法在大规模训练样本时，存在训练速度慢、稳定性差等缺陷，从而制约了其使用 范围（学习过程中需要求解二次规划问题）；

• 因此，1999年，Suykens和Vandewalle等人在SVM的基础上提出LSSVM（Least Square Support Vector Machine, LSSVM），该算法的计算复杂度大为减少，使得训练速度得到提高。

• 最小二乘支持向量机（LSSVM）是标准支持向量机的一种扩展，该算法将支持 向量机的求解从二次规划问题转化为线性方程组。

• 它与支持向量机的不同之处在于它把不等式约束改成等式约束，并把经验风险 由偏差的一次方改为二次方。

  分类问题回顾：

  给定训练数据集 T = { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } T=\{(x_{1},y_{1}),\cdots , (x_{N},y_{N})\} T={(x1​,y1​),⋯,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , … , N x_{i} \in \mathbb{R}^{n}, y_{i} \in\{-1,+1\}, i=1, \ldots, N xi​∈Rn,yi​∈{−1,+1},i=1,…,N；

  分类支持向量机的目标是构造如下形式的分类器，使得 $f(x)$能够将样本正确分类

$$f(x)=\mathrm{sign}\left[{\omega }^T\phi (x)+b\right]$$

  LSSVM分类算法：

(1) 构建LSSVM的分类优化问题的目标函数：

$$\min \frac{1}{2}{w}^{T}w+\frac{1}{2}r\sum _{i=1}^N{\xi }_i^2$$

(2) 相比于SVM，其约束条件有所不同，它将SVM的不等式约束改为等式约束：

$$y_i\left[w^T\phi \left(x_i\right)+b\right]=1-{\xi }_i,i=1,2,\dots ,N$$

(3) 构造拉格朗日函数：

$$L=\frac{1}{2}{w}^{T}w+\frac{1}{2}r\sum _{i=1}^N{\xi }_i^2-\sum _{i=1}^N{\alpha }_i\left\{y_i\left[w^T\phi \left(x_i\right)+b\right]-1+\xi \right\}$$

(4) 根据KKT条件，取最优值时应该满足对各变量的偏导数为0的约束条件：

$$\{\begin{array}{l}\omega ={\sum }_{i=1}^N{\alpha }_i{y}_i\phi \left(x_i\right)\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i=r{\xi }_i\\ y_i\left[{\omega }^T\times \phi \left(x_i\right)+b\right]-1+{\xi }_i=0\end{array}$$

  消去$w$和$\xi$得到线性系统

$$\left[\begin{array}{cc}0& {\mathbf{Y}}^T\\ \mathbf{Y}& \mathbf{Z}{\mathbf{Z}}^T+r^{-1}\mathbf{I}\end{array}\right]\left[\begin{array}{l}b\\ a\end{array}\right]=\left[\begin{array}{l}0\\ 1\end{array}\right]$$

(5) 在上式的线性方程组系统中：

$$\{\begin{array}{l}\mathbf{Z}={\left[\phi {\left(x_1\right)}^T{y}_1,\phi {\left(x_2\right)}^T{y}_2,\cdots ,\phi {\left(x_l\right)}^T{y}_l,\right]}^T\\ \mathbf{Y}={\left[y_1,y_2,\cdots ,y_l\right]}^T\\ 1=[1,1,\cdots ,1{]}^T\\ \mathbf{\alpha }={\left[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_l\right]}^T\end{array}$$

(6) 令$A=Z{Z}^T+r^{-1}I$，可以求得上述线性方程组的解，进而获得分类决策函数

$$\{\begin{array}{l}\alpha ={\mathbf{A}}^{-1}(1-\mathbf{Y}b)\\ b=\frac{{\mathbf{Y}}^T{\mathbf{A}}^{-1}1}{{\mathbf{Y}}^T{\mathbf{A}}^{-1}\mathbf{Y}}\end{array}$$

  得到：

$$f(x)=\mathrm{sign}\left[\sum _{i=1}^N{\alpha }_i{y}_{i}k\left(x,x_i\right)+b\right]$$

  回归问题回顾

  给定训练数据集 T = { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } T=\{(x_{1},y_{1}),\cdots , (x_{N},y_{N})\} T={(x1​,y1​),⋯,(xN​,yN​)}，其中$x_i\in {\mathbb{R}}^n,y_i\in R,i=1,\dots ,N$；

  回归(Regression)支持向量机的目标是构造如下形式的预测函数，使得$f(x)$能够与样本的实际 函数值近似

$$f(x)={\omega }^T\phi (x)+b$$

  最小二乘支持向量回归算法LSSVR

(1) 构建LSSVR的优化问题的目标函数：

$$\min \frac{1}{2}{w}^{T}w+\frac{1}{2}r\sum _{i=1}^N{\xi }_i^2$$

(2) 相比于SVM，其约束条件有所不同，它将SVM的不等式约束改为等式约束：

$$y_i={\omega }^T\phi \left(x_i\right)+b+{\xi }_i,i=1,2,\cdots ,N$$

(3) 构造拉格朗日函数：

$$L=\frac{1}{2}{\omega }^T\omega +\frac{1}{2}r\sum _{i=1}^l{\xi }_i^2-\sum _{i=1}^l{\alpha }_i\left\{{\omega }^T\phi \left(x_i\right)+b+{\xi }_i-y_i\right\}$$

(4)根据KKT条件，取最优值时应该满足对各变量的偏导数为0的约束条件：

$$\{\begin{array}{l}\omega ={\sum }_{i=1}^l{\alpha }_i\phi \left(x_i\right)\\ -{\sum }_{i=1}^l{\alpha }_i=0\\ {\alpha }_i=r{\xi }_{i}i=1,\cdots ,N\\ {\omega }^T\phi \left(x_i\right)+b+{\xi }_i-y_i=0i=1,\cdots ,N\end{array}$$

  消去$w$和$\xi$得到线性系统：

$$\left[\begin{array}{cc}0& 1^T\\ 1& \mathbf{Z}{\mathbf{Z}}^T+r^{-1}\mathbf{I}\end{array}\right]\left[\begin{array}{l}b\\ \alpha \end{array}\right]=\left[\begin{array}{l}0\\ y\end{array}\right]$$

(5) 在上式的线性方程组系统中：

$$\{\begin{array}{l}Z={\left[\phi \left(x_1\right),\phi \left(x_2\right),\cdots ,\phi \left(x_N\right)\right]}^T\\ y={\left[y_1,y_2,\cdots ,y_N\right]}^T\\ 1=[1,1,\cdots 1{]}^T\\ \alpha ={\left[{\alpha }_1,{\alpha }_2,\cdots {\alpha }_N\right]}^T\end{array}$$

(6) 令$A=Z{Z}^T+r^{-1}I$，可以求得上述线性方程组的解，进而获得回归函数。

$$\{\begin{array}{l}b=\frac{1^T{A}^{-1}y}{1^T{A}^{-1}1}\\ \alpha =A^{-1}(y-b1)\end{array}$$

  得到：

$$f(x)=\sum _{i=1}^N{\alpha }_{i}k\left(x,x_i\right)+b$$

在Python中使用支持向量机分类算法

  在Scikit-Learn库中，支持向量机算法族都在sklearn.svm包中，当前版本一共有8个类。看起来也与其他机器学习算法族一样似乎有不少变种，其实并不太一样，支持向量机算法总的来说就一种，只是在核函数上有不同的选择，以及用于解决不同的问题，包括分类问题、回归问题和无监督学习问题中的异常点检测，具体为：

1. LinearSVC类：基于线性核函数的支持向量机分类算法。
2. LinearSVR类：基于线性核函数的支持向量机回归算法。
3. SVC类：可选择多种核函数的支持向量机分类算法，通过“kernel”参数可以传入“linear”选择线性函数、传入“polynomial”选择多项式函数、传入“rbf”选择径向基函数、传入“sigmoid”选择Logistics函数作为核函数，以及设置“precomputed”使用预设核值矩阵。默认以径向基函数作为核函数。
4. SVR类：可选择多种核函数的支持向量机回归算法。
5. NuSVC类：与SVC类非常相似，但可通过参数“nu”设置支持向量的数量。
6. NuSVR类：与SVR类非常相似，但可通过参数“nu”设置支持向量的数量。
7. OneClassSVM类：用支持向量机算法解决无监督学习的异常点检测问题。

from sklearn.datasets import load_iris
from sklearn.svm import SVC
# 载入鸢尾花数据集
X, y = load_iris(return_X_y=True)
clf = SVC().fit(X, y) # 训练模型
print(clf.predict(X)) # 分类预测
print(clf.score(X, y))

参考

【1】本文主要参考东北大学大数据科学课程SVM小节。