支持向量机解析

1 简介

1.0 概念

支持向量机(Support Vector Machine, SVM),支持向量即支持或支撑平面上把两类类别划分开来的超平面的向量点;机即算法.
支持向量机本身是一种监督式学习算法,广泛应用于统计分类及回归分析中,用于解决数据挖掘中的维数灾难,将计算问题最终转化为凸二次规划问题.巧妙地利用向量内积的回旋,通过将非线性核函数将问题变为高维特征空间与低维输入空间的相互计算.

1.2 目标

找到一个超平面,使得他能尽可能多的将两类数据点正确分开,同时使分开的两类数据点距离分类面最远.

1.3 处理方式

构造一个在约束条件下的优化问题,即一个约束二次规划问题,求解该问题,得到分类器.

1.4 数学描述

• 最大边缘超平面(MMH)
  边缘:从超平面到其边缘的侧面的最短距离等于到其边缘的另一侧面的最短距离,边缘侧面平行于超平面.
  

图1.0 超平面与测评面边界

import numpy as np
import matplotlib.pyplot as plt
import mpl_toolkits.axisartist as axisartist
from matplotlib.font_manager import FontProperties

font = FontProperties(fname='/usr/share/fonts/truetype/arphic/ukai.ttc')
fig = plt.figure(figsize=(8, 8))
ax = axisartist.Subplot(fig, 111)
fig.add_axes(ax)
# 隐藏坐标轴
ax.axis[:].set_visible(False)
# 添加坐标轴
ax.axis['x'] = ax.new_floating_axis(0, 0)
ax.axis['y'] = ax.new_floating_axis(1, 0)
# x轴添加箭头
ax.axis['x'].set_axisline_style('-|>', size=1.0)
ax.axis['y'].set_axisline_style('-|>', size=1.0)
# 设置坐标轴刻度显示方向
ax.axis['x'].set_axis_direction('top')
ax.axis['y'].set_axis_direction('right')
plt.xlim(-1, 7)
plt.ylim(-1, 7)

x = np.arange(1, 5, 0.1)
y = x
x_1 = [1.2, 1.6, 2.0, 2.4, 2.8, 3.0, 3.4, 3.8, 4.2, 4.6]
y_1 = [3.3, 3.0, 4.0, 3.6, 4.0, 1.8, 1.5, 2.0, 1.5, 3.2] 
plt.plot(x, y, 'r', label="超平面")
plt.plot(x, y-1, 'b', label="边缘侧面1")
plt.plot(x, y+1, 'g', label="边缘侧面2")
plt.plot(x, -y+5, 'black', label="法向量w")
plt.scatter(x_1, y_1, color="r")
plt.legend(prop=font)
plt.savefig("./images/svm_1.png", format="png")

2 线性可分数据

2.1 超平面

超平面与边界距离:
点:$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$
标记:$y_i\in${-1, 1},其中,$y_i=1$表示$x_i\in clas{s}_1$, $y_i=-1$表示$x_i\in clas{s}_2$.
列向量：
$$x_i=(x_{i1},x_{i2},\cdots ,x_{id}{)}^T\text{\hspace{1em}(1)}$$
$$w_i=(w_{i1},w_{i2},\cdots ,w_{id}{)}^T\text{\hspace{1em}(2)}$$
向量的模：
$$\mid \mid w_i\mid {\mid }^2=w_{i1}^2+w_{i2}^2+\cdots +w_{id}^2=w_i^T\ast w_i\text{\hspace{1em}(3)}$$
$$\mid \mid x_i\mid {\mid }^2=x_{i1}^2+x_{i2}^2+\cdots +x_{id}^2=x_i^T\ast x_i\text{\hspace{1em}(4)}$$
分类超平面表示:
$$f(x)=x^T\ast w+b=0\text{\hspace{1em}(5)}$$
分类1:
$$f(x)=x^T\ast w+b=1\text{\hspace{1em}(6)}$$
分类2:
$$f(x)=x^T\ast w+b=-1\text{\hspace{1em}(7)}$$
一般:
$$\{\begin{array}{ll}{x}_i^T\ast w+b\ge +1,& {\text{y}}_i=+1\\ x_i^T\ast w+b\le -1,& {\text{y}}_i=-1\end{array}\text{\hspace{1em}(8)}$$

2.2 间隔

任一点A到超平面点B距离:
$$\begin{gathered} r=\frac{\overrightarrow{AB}\ast \overrightarrow{w}}{\mid \overrightarrow{w}\mid } \\ =\frac{\mid x^T\ast w+b\mid }{\mid \mid w\mid \mid }\text{\hspace{1em}(9)} \end{gathered}$$
其中,$\overrightarrow{w}$为超平面法向量.

• 最大间隔
  $$r=\frac{2}{\mid \mid w\mid \mid }\text{\hspace{1em}(10)}$$
  求$w$和$b$在约束$y_i\ast (x_i^T\ast w+b)\ge 1$使间隔最大:
  $$ma{x}_{w,b}\frac{2}{\mid \mid w\mid \mid }$$
  等价于找间隔最小:
  $$\{\begin{array}{l}mi{n}_{w,b}\frac{1}{2}\mid \mid w\mid {\mid }^2\\ s.t.:y_i\ast (x_i^T\ast w+b)\ge 1\end{array}\text{\hspace{1em}(11)}$$
  $$L(w,b,\alpha )=\frac{1}{2}\mid \mid w\mid {\mid }^2-C\sum _{i=1}^n{l}_{0/1}{\alpha }_i[y_i\ast (x_i^T\ast w+b)-1]\text{\hspace{1em}(12.0)}$$
• 硬间隔
  所有正分类点到平面距离与所有负分类点到平面距离总和达最大,设平面为分类正确的超平面,即硬间隔最大化,得到的SVM模型称为硬间隔支持向量机.所有样本都必须正确划分(可能会过拟合),容错率差.
• 软间隔
  在各自正负分类中,有对方的数据,分类仍可进行,即容忍分类误差,误差即松弛变量,通过$C$参数式(12.0)调整,对模型进行控制,称为软间隔最大化,得到的SVM称为软间隔支持向量机.
  式(12.0)中,$l_{0/1}(z)$称为$0/1$损失函数.
  $$l_{0/1}(z)=\{\begin{array}{l}1,ifz<0\\ 0,otherwise\end{array}$$
  $l_{0/1}$非凸,不连续,数学性质不太好,使式(12.0)不易直接求解,于是有其他函数替代,称为"替代损失",有如下3中形式:
  $$\begin{gathered} hinge损失:l_{hinge}=max(0,1,-z) \\ 指数损失:l_{exp}(z)=e^{-z} \\ 对数损失:l_{log}(z)=log(1+e^{-z}) \end{gathered}$$

2.3 拉格朗日乘数法

$$L(w,b,\alpha )=\frac{1}{2}\mid \mid w\mid {\mid }^2-C\sum _{i=1}^n{\alpha }_i[y_i\ast (x_i^T\ast w+b)-1]\text{\hspace{1em}(12)}$$
其中,$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$为拉格朗日乘子,$C$为松弛因子,分别对$w$和$b$求偏导,有:
$$\{\begin{array}{l}{\sum }_i^n{y}_i{\alpha }_i=0\\ w={\sum }_i^n{y}_i{\alpha }_i{x}_i\end{array}\text{\hspace{1em}(13)}$$
$w$带入拉格朗日函数,有对偶问题:

$$mi{n}_i^n\frac{1}{2}\sum _i^n\sum _j^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _i^m{\alpha }_i\text{\hspace{1em}(14)}$$
超平面:
$$\begin{gathered} f(x)=x^{T}w+b \\ =\sum _i^n{y}_i{\alpha }_i{x}_i^T{x}_i+b\text{\hspace{1em}(15)} \end{gathered}$$
约束条件:
$$\{\begin{array}{l}{\sum }_i^n{y}_i{\alpha }_i=0\\ {\alpha }_i\ge 0\end{array}\text{\hspace{1em}(16)}$$
KKT约束条件:
$$\{\begin{array}{ll}{\alpha }_i\ge 0,& 非负\\ y_i\ast (x_i^T\ast w+b)-1\ge 0,& 约束\\ {\alpha }_i\ast [y_i\ast (x_i^T\ast w+b)-1]=0,& 松弛\end{array}\text{\hspace{1em}(17)}$$

求得${\alpha }_i$,该$i$对应$(x_i,y_i)$,求得$w$和$b$.
$$w=\sum _i^n{y}_i{\alpha }_i{x}_i\text{\hspace{1em}(18)}$$
$$b=\frac{1-y_i{w}^T{x}_i}{y_i}\text{\hspace{1em}(19)}$$
得到超平面方程:
$$f(x)=x^{T}w+b\text{\hspace{1em}(20)}$$

2.4 分析

KKT条件分析SVM特性,对于任意样本$(x_i,y_i)$总有${\alpha }_i=0$或$y_i\ast (x_i^T\ast w+b)=1$,若${\alpha }_i=0$,则样本不在超平面中出现,不会对超平面产生任何影响;若${\alpha }_i\ge 0$,则有$y_{i}f(x_i)-1=0$,对应的样本点在最大间隔的边界上,是一个支持向量,即训练完成后,训练样本不需保留,最终模型仅与支持向量有关.

• 附识:
  列向量:$X$,
  $$X={\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]}^T\text{\hspace{1em}(21)}$$
  则有：
  $$X^T\ast X=\sum _i^n{a}_i^2\text{\hspace{1em}(22)}$$
  $$X\ast X^T=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]\ast \left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]=\left[\begin{array}{cccc}{a}_1^2& a_{12}& \cdots & a_{1n}\\ a_{21}& a_2^2& \cdots & a_{2n}\\ ⋮& & & \\ a_{n1}& a_{n2}& \cdots & a_n^2\end{array}\right]\text{\hspace{1em}(23)}$$

3 非线性可分

图3.1 非线性可分数据结构

3.1 目标

将数据$x_i$变换到高维的特征空间,使样本在这个特征空间内线性可分，如图所示，将二维空间映射到合适的三维空间，找到一个超平面，如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分，是一个升维的过程。

图3.2 空间转换（升维）

3.2 特征空间转换

原始超平面方程：
$$f(x)=x^T\ast w+b\text{\hspace{1em}(24)}$$
规定原始数据集$x$映射后的特征向量为$\varphi (x)$，则映射后的超平面方程：
$$f(x)=\varphi (x{)}^T\ast w+b=0\text{\hspace{1em}(25)}$$
$$mi{n}_i^n\frac{1}{2}\sum _i^n\sum _j^n{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-\sum _i^m{\alpha }_i\text{\hspace{1em}(26)}$$

约束条件:
$$\{\begin{array}{l}{\sum }_i^n{y}_i{\alpha }_i=0\\ {\alpha }_i\ge 0\end{array}\text{\hspace{1em}(27)}$$
KKT约束条件:
$$\{\begin{array}{ll}{\alpha }_i\ge 0,& 非负\\ y_i\ast (x_i^T\ast w+b)-1\ge 0,& 约束\\ {\alpha }_i\ast [y_i\ast (x_i^T\ast w+b)-1]=0,& 松弛\end{array}$$
超平面:
$$\begin{gathered} f(x)=x^{T}w+b \\ =\sum _i^n{y}_i{\alpha }_i\varphi (x_i{)}^T\varphi (x_i)+b\text{\hspace{1em}(28)} \end{gathered}$$

3.3 核函数

引入：如上所示，原始数特征空间转换后的“新”数据，需要计算内积，形如：$\varphi (x_i{)}^T\varphi (x_i)$,记为核函数$k(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$
超平面：
$$\begin{gathered} f(x)=x^{T}w+b \\ =\sum _i^n{y}_i{\alpha }_{i}k(x_i,x_j)+b\text{\hspace{1em}(29)} \end{gathered}$$
对偶问题：
$$mi{n}_i^n\frac{1}{2}\sum _i^n\sum _j^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}k(x_i,x_j)-\sum _i^m{\alpha }_i\text{\hspace{1em}(30)}$$

• 核函数
  由上可知，核函数是映射关系($\varphi$)的内积,映射关系本身仅仅是一种映射函数，并没有增加数据维度，而映射后的特征维度增加是利用了核函数的特性（矩阵内积），构造可以增加维度的核函数。核函数与单纯的映射关系无关，只与映射关系的内积有关系。
  核函数将$m$维高维空间内积运算转化为$n$维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”。

3.4 常用核函数

序号	核函数	描述	约束
1	线性核	$k(x_i,x_j)=x_i^T{x}_i$
2	多项式核	$k(x_i,x_j)=(x_i^T{x}_i{)}^d$	$d\ge 1$为多项式的次数
3	高斯核	$k(x_i,x_j)=e^{(-\frac{\mid \mid (x_i-x_j)\mid {\mid }^2}{2{\sigma }^2})}$	$\sigma >0为高斯核的宽度$
4	拉普拉斯核	$k(x_i,x_j)=e^{(-\frac{\mid \mid (x_i-x_j)\mid \mid }{\sigma })}$	$\sigma >0$
5	Sigmoid核	$k(x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$	$tanh$双曲正切函数，$\beta >0$,$\theta <0$

4 二次规划

4.1 数学模型

二次规划(Quadratic Programming， QP),数学模型为：
$$\{\begin{array}{l}min:f(x)=\frac{1}{2}{x}^{T}Hx+c^{T}x\\ s.t.:Ax\ge b\end{array}\text{\hspace{1em}(31)}$$
其中，$H\in R^{n\times n}$为$n$阶对称矩阵，$A$为$m\times n$维矩阵，$c$为$n$维列向量，$b$为$m$维列向量。特别地，当$H$正定时，目标函数为凸函数，线性约束下可行域又是凸集，问题称为凸二次规划，凸二次规划是一种简单的非线性规划，具有如下性质：

• K-T条件不仅是最优解必要条件，且是充分条件；
• 局部最优解就是全局最优解；

4.2 等式约束二次规划

$$\{\begin{array}{l}min:f(x)=\frac{1}{2}{x}^{T}Hx+c^{T}x\\ s.t.:Ax=b\end{array}\text{\hspace{1em}(32)}$$
其中，$H\in R^{n\times n}$为$n$阶对称矩阵，$A$为$m\times n$维矩阵，$c$为$n$维列向量，$b$为$m$维列向量。

4.2.1 直接消去法

4.2.2 拉格朗日乘数法

$$L(x,\lambda )=\frac{1}{2}{x}^{T}Hx+c^{T}x-{\lambda }^T(Ax-b)\text{\hspace{1em}(33)}$$
分别对$x$和$\lambda$求偏导，有：
$$\{\begin{array}{l}{\nabla }_{x}L(x,\lambda )=0\\ {\nabla }_{\lambda }L(x,\lambda )=0\end{array}\text{\hspace{1em}(34)}$$
得到$K-T$条件：
$$\{\begin{array}{l}Hx+c-A^T\lambda =0\\ Ax-b=0\end{array}\text{\hspace{1em}(35)}$$
矩阵形式：
$$\left[\begin{array}{cc}H& -A^T\\ -A& 0\end{array}\right]\left[\begin{array}{c}x\\ \lambda \end{array}\right]=-\left[\begin{array}{c}c\\ b\end{array}\right]\text{\hspace{1em}(36)}$$
其中，
$\left[\begin{array}{cc}H& -A^T\\ -A& 0\end{array}\right]$称为拉格朗日矩阵，她是对称的但不一定是正定的，如果拉格朗日矩阵可逆，则存在：
$${\left[\begin{array}{cc}H& -A^T\\ -A& 0\end{array}\right]}^{-1}=\left[\begin{array}{cc}Q& -R\\ -R^T& G\end{array}\right]\text{\hspace{1em}(37)}$$
依据式(36)求得等式约束二次规划问题的最优解：
$$\{\begin{array}{l}{x}^{\ast }=-Qc+Rb\\ {\lambda }^{\ast }=R^{T}c-Gb\end{array}\text{\hspace{1em}(38)}$$
当$H^{-1}$存在时，可的$Q,R,G$：
$$\{\begin{array}{l}Q=H^{-1}-H^{-1}{A}^T(A{H}^{-1}{A}^T{)}^{-1}A{H}^{-1}\\ R=H^{-1}{A}^T(A{H}^{-1}{A}^T{)}^{-1}\\ G=-(A{H}^{-1}{A}^T)-1\end{array}\text{\hspace{1em}(39)}$$

下面给出$x^{\ast }$和${\lambda }_{\ast }$的另一种表达式，设$x^{(0)}$为等式约束二次规划的任意可行解，即$x^{(0)}$满足关系式:$A{x}^{(0)}=b$，在$x^{(0)}$处目标函数的梯度可以表示为：
$$\nabla f(x^{(0)})=H{x}^{(0)}+c\text{\hspace{1em}(40)}$$
式(38)可表示为：
$$\{\begin{array}{l}{x}^{\ast }=x^{(0)}-Q\nabla f(x^{(0)})\\ {\lambda }_{\ast }=R^T\nabla f(x^{(0)})\end{array}\text{\hspace{1em}(41)}$$

4.3 不等式约束二次规划

$$\{\begin{array}{l}min:f(x)=\frac{1}{2}{x}^{T}Hx+c^{T}x\\ s.t.:Ax\ge b\end{array}\text{\hspace{1em}(42)}$$
其中，$H\in R^{n\times n}$为$n$阶对称矩阵，$A$为$m\times n$维矩阵，$c$为$n$维列向量，$b$为$m$维列向量。

4.3.1 有效集方法

有效集算法在每次迭代中，都以已知的可行点为起点，把在该点有效的约束作为等式约束，暂时不考虑该点的无效约束，在新的约束条件下极小化目标函数，求得新的比较好的可行点后，再重复以上步骤，这样，可把问题转化为有限个仅带等式约束的二次凸规划问题。
设在第$k$次迭代中，一直可行点$x^{(k)}$，在该点的约束指标集，用$I_k$表示，此时的等式约束问题：
$$\{\begin{array}{l}min:f(x)\\ s.t.:a_i^{T}x=b_i,i\in I_k\end{array}\text{\hspace{1em}(43)}$$
其中，$a_i$为矩阵$A^T$的第$i$列元素构成的$n$维向量
将坐标原点移动至$x^{(k)}$处，令$d^{(k)}=x-x^{(k)}$，则，目标函数为：
$$f(x)=\frac{1}{2}(d^{(k)}{)}^{T}H{d}^{(k)}+\nabla f(x^{(k)}{)}^T{d}^{(k)}+f(x^{(k)})\text{\hspace{1em}(44)}$$
于是问题转化为求解校正量$d_k$的问题：
$$\{\begin{array}{l}min:\frac{1}{2}(d^{(k)}{)}^{T}H{d}^{(k)}+\nabla f(x_k{)}^T{d}^{(k)}\\ s.t.:a_i^T{d}^{(k)}=0,i\in I_k\end{array}\text{\hspace{1em}(45)}$$

4.3.2 第一种过程

确定式(43)中的约束,即索引集$A(x^{\ast })$
构造索引集序列$A_k$来估计$A(x^{\ast })$,$A_k$称为工作集,
式(43)KKT条件:
$$Hx+c-\sum _{i\in A_k}{\lambda }_i{a}_i=0\text{\hspace{1em}(46)}$$
其中,${\lambda }_i\ge 0,i\in I$,
式(45)KKT条件:
$$H{x}^{\ast }+c-\sum _{i\in A_k}{\lambda }_i^{\ast }{a}_i=0\text{\hspace{1em}(47)}$$
其中,${\lambda }_i^{\ast }\ge 0,i\in I(x^{\ast })$

• 定理1:设$x_k\in D,A_k\subseteq A(x_k)$,若满足:
  (1)$x_k$是问题(43)的最优解;
  (2)式(43)的拉格朗日乘子${\lambda }^{(k)}$满足:${\lambda }_i^{(k)}\ge 0,\forall i\in A_k\bigcap I$,则$x_k$是二次规划问题(31)的最优解.

• 定理2: 设$x_k\in D,A_k\subseteq A(x_k)$,若满足:
  (1)$d_k=0$是问题(45)的最优解;
  (2)式(45)的拉格朗日乘子${\lambda }^{(k)}$满足:${\lambda }_i^{(k)}\ge 0,\forall i\in A_k\bigcap I$,则$x_k$是二次规划问题(31)的最优解.

若定理中的两个条件不全满足,则$x_k$不是原问题(31)的最优解,此时需要修正工作集$A_k$:
(1) $d_k=0$,但是$\exists i\in A_k\bigcap I$满足:${\lambda }_i^{(k)}<0$,此时只修改$A_k$,过程如下:

---

$d_k=0$表明$x_k$是(43)的最优解,此时令
$$x_{k+1}=x_k,A_{k+1}=A_k\backslash (i)\text{\hspace{1em}(48)}$$
其中,$i=min${${\lambda }_j^{(k)}\mid {\lambda }_j^{(k)}<0,j\in A_k\bigcap I$}

---

(2) $d_k̸=0$时,此时必须产生新的可行点$x_{k+1}$也需修正$A_k$;过程如下:

---

• (2.1)首先计算步长$0<{\alpha }_k\le 1$使$x_{k+1}=x_k+{\alpha }_k{d}_k\in D$:
  当$i\in A_k$时,对$\forall \alpha \ge 0,x_k+\alpha d_k$满足可行性,即:
  $$\begin{gathered} a_i^T(x_k+\alpha d_k)=a_i^T{x}_k+\alpha a_i^T{d}_k=b_i,\forall i\in E \\ {a}_i^T(x_k+\alpha d_k)=a_i^T{x}_k+\alpha a_i^T{d}_k\ge b_i,\forall i\in I\bigcap A_k\text{\hspace{1em}(49)} \end{gathered}$$
  当$i\in I\backslash A_k$,但$a_i^T{d}_k\ge 0$时,对$\forall \alpha \ge 0$得,
  $$a_i^T(x_k+\alpha d_k)=a_i^T{x}_k+\alpha a_i^T{d}_k\ge a_i^T{x}_k\ge b_i\text{\hspace{1em}(50)}$$
  下面考虑$i\in I\backslash A_k$且$a_i^T{d}_k<0$的情况:
  $\exists \alpha \ge 0$,要使:
  $$a_i^T(x_k+\alpha d_k)=a_i^T{x}_k+\alpha a_i^T{d}_k\ge b_i\text{\hspace{1em}(51)}$$
  有:
  $$\alpha \le \frac{b_i-a_i^T{x}_k}{a_i^T{d}_k}\text{\hspace{1em}(52)}$$
  从而有:
  $$\alpha \le min\left\{\begin{array}{c}\frac{b_i-a_i^T{x}_k}{a_i^T}\mid i\in I\backslash A_k且a_i^T{d}_k<0\end{array}\right\}\text{\hspace{1em}(53)}$$
  因此,要使$x_k+{\alpha }_k{d}_k\in D$,步长${\alpha }_k$应取:
  $$\alpha \le min\left\{\begin{array}{c}1,\frac{b_i-a_i^T{x}_k}{a_i^T}\mid i\in I\backslash A_k且a_i^T{d}_k<0\end{array}\right\}\text{\hspace{1em}(54)}$$
• (2.2)如果$\exists i\in I\backslash A_k$,使得$a_i^T{x}_{k+1}=b_i$,则$A_{k+1}=A_k\bigcup${i},否则$A_{k+1}=A_k$
  由上面方法确定的$x_{k+1}$和$A_{k+1}$满足:
  $$A_{k+1}\subseteq A(x_{k+1})\text{\hspace{1em}(55)}$$
  $$f(x_{k+1})\le f(x_k)\text{\hspace{1em}(56)}$$
  对于(56):
  当$d_k=0$时显然成立;
  当$d_k̸=0$时,由于$d_k$是问题(45)的解,则必有
  $$\frac{1}{2}{d}_k^{T}H{d}_k+\nabla f(x_k{)}^T{d}_k<0$$
  从而:
  $$\begin{gathered} f(x_k+{\alpha }_k{d}_k)=f(x_k)+{\alpha }_k\nabla f(x_k{)}^T{d}_k+\frac{1}{2}{\alpha }_k^2{d}_k^{T}H{d}_k \\ =f(x_k)+{\alpha }_k[\nabla f(x_k{)}^T{d}_k+\frac{1}{2}{d}_k^{T}H{d}_k]+\frac{1}{2}{\alpha }_k({\alpha }_k-1)d_k^{T}H{d}_k<f(x_k)\text{\hspace{1em}(57)} \end{gathered}$$

---

• 二次规划有效集法

---

(1) 给定初始可行点$x_0\in D$,令$A_0=A(x_0)$,$k=0$;
(2) 求解子问题$\{\begin{array}{l}min:\frac{1}{2}(d^{(k)}{)}^{T}H{d}^{(k)}+\nabla f(x_k{)}^T{d}^{(k)}\\ s.t.:a_i^T{d}^{(k)}=0,i\in I_k\end{array}$的解$d_k$及乘子${\lambda }_i^{(k)}$,$i\in A_k$;
(3) 如果$d_k=0$,当${\lambda }_i^{(k)}\ge 0,\forall i\in A_k\bigcap I$时解得$x_k$,终止;否则,令$x_{k+1}=x_k,A_{k+1}=A_k\backslash i$,其中,$i=min${${\lambda }_j^{(k)}\mid {\lambda }_j^{(k)}<0,j\in A_k\bigcap I$},$k=k+1$,转(2);
(4) 如果$d_k̸=0$,则计算步长${\lambda }_k=min${$1,\frac{b_i-a_i^T{x}^{(k)}}{a_i^T{d}^{(k)}}$},令$x_{k+1}=x_k+{\lambda }_k{d}_k$,如果存在$i\in I\backslash A_k$,使$a_i^T{x}_{k+1}=b_i$,令$A_{k+1}=A_k\bigcup (i)$,否则令$A_{k+1}=A_k$,$k=k+1$,转(2);

---

4.3.3 第二种过程

不同的计算情况，采取相应的步骤：
(1)若$x^{(k)}+d^{(k)}$是可行点且$d^{(k)}̸=0$，则第$k+1$次的迭代点为：$x^{(k+1)}=x^{(k)}+d^{(k)}$；
(2)若$x^{(k)}+d^{(k)}$不是可行点，则取搜索方向为$d^{(k)}$，并令$x^{(k+1)}=x^{(k)}+{\lambda }_k{d}^{(k)}$，按照保持可行性的要求，步长$\lambda$的取值应使得对于任意$i\notin I_k$均满足$a_i^T(x^{(k)}+{\lambda }_k{d}^{(k)})\ge b_i$，由于$x^{(k)}$是可行点，$a_i^T{x}^{(k)}\ge b_i$，因此当$a_i^T{d}^{(k)}\ge 0$是，任意的非负数${\lambda }_k$均满足条件，当$a_i^T{d}^{(k)}<0$时，取正数：
$${\lambda }_k\le min\left\{\begin{array}{c}\frac{b_i-a_i^T{x}^{(k)}}{a_i^T{d}^{(k)}}\mid i\notin I_k,a_i^T{d}^{(k)<0}\end{array}\right\}$$
则对于每个$i\notin I_k$，条件总能成立，为了在第$k$次迭代中得到较好的可行点，取$\lambda =min1,{\hat{\lambda }}_k$，若存在$p\notin I_k$使$\frac{b_p-a_p^T{x}^{(k)}}{a_p^T{d}^{(k)}}<1$，则在点$x_{k+1}$处有$a_p^T{x}^{(k+1)}=a_p^T(x^{(k)}+{\lambda }_k{d}^{(k)})=b_p$，说明在点$x_{k+1}$处，$a_p^T{x}^{(k+1)}=a_p^{T}d\ge b_b$为有效的约束，因此应当把指标$p$加入点$x^{(k+1)}$处的有效约束指标集$I_{k+1}$中，则令$I_{k+1}=I_k\bigcup p$
(3)若$d^{(k)}=0$，则$x^{(k)}$是第$k$步等式约束的最优解；
判断$x^{(k)}$是否为原二次规划问题的最优解。
(1)计算所有有效约束的拉格朗日乘子,${\lambda }^{(k)},i\in I_k$;
(2)如果${\lambda }_i^{(k)}\ge 0,i\in I_k$，则$x^{(k)}$是原二次规划问题的K-T点，由于原二次规划问题为凸优化，故$x^{(k)}$为原二次规划问题的最优解；
(3)如果存在$q\in I_k$，使${\lambda }_q^{(k)}<0$，则$x^{(k)}$不可能是原二次规划为问题的最优解，因为可以验证：
当${\lambda }_q^{(k)}<0$时，在点$x^{(k)}$处存在可行下降方向，因此，取：
$${\lambda }_i^{(k)}=min{\lambda }_i^k\mid i\in I_k$$
同时令：$I_{k+1}=I_k\backslash r$
求解问题：
$$\{\begin{array}{l}min:\frac{1}{2}(d^{(k)}{)}^{T}H{d}^{(k)}+\nabla f(x_k{)}^T{d}^{(k)}\\ s.t.:a_i^T{d}^{(k)}=0,i\in I_k\end{array}$$

• 迭代步骤：

---

(1) 选取初始数据，给定初始可行点$x^{(1)}$，相应的有效约束指标集为$I_0$，令$k=1$；
(2) 求解等式约束问题。设最优解为$d^{(k)}$，若$d^{(k)}=0$，则转(4)；否则，令：${\lambda }_k=min1,{\hat{\lambda }}_k$,$x^{(k+1)}=x^{(k)}+{\lambda }_k{d}_k$，然后计算$\nabla f(x^{(k+1)})$，转(3)；
(3) 修改有效约束指标集：若${\lambda }_k<1$，则令：$I_{k+1}=I_k\bigcup p$，$k=k+1$，转(2);
若${\lambda }_k=1$，则令$k=k+1$，转(4)；
(4) 检查是否满足终止准则，用式()计算得出的所有有效约束对应的拉格朗日乘子${\lambda }_i^{(k)},i\in I_k$，记为：
$${\lambda }_r^k=min{\lambda }_i^{(k)}\mid i\in I_k$$
若${\lambda }_r^{(k)}\ge 0$，则迭代终止，$x^{(k)}$为原二次规划问题的最优解；否则，从$I_k$中删除指标$r$，转(2)。
$${\lambda }_k\le min\left\{\begin{array}{c}\frac{b_i-a_i^T{x}^{(k)}}{a_i^T{d}^{(k)}}\mid i\notin I_k,a_i^T{d}^{(k)}<0\end{array}\right\}$$

---

5 应用

支持向量机可进行分类，回归和密度估计计算，应用在：

• 手写字符识别；
• 文本自动分类；
• 人脸识别；
• 时间序列预测；
• 蛋白质识别；
• DNA排列分析；

---

【参考文献】
[1]https://wenku.baidu.com/view/e8878e75ec3a87c24128c47e.html?from=search
[1]https://blog.csdn.net/qq_41149269/article/details/81774026