机器学习—支持向量机理论详细推导（含例题讲解）（四）

12.非线性支持向量机与核函数

线性可分:用一个分离超平面$\omega \cdot x+b$将数据集完全分开；

非线性可分:用一个超曲面分开数据集。

非线性问题往往不好求解，所以希望能用解线性分类间题的方法解决这个问题。

采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。

即:怎么将原空间上的点映射到新空间上的点！

13.核函数有什么用？

原空间:输入空间 $$\begin{array}{rl}& \min \sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array}$$

在上式中$x_i\cdot x_j$是内积，新空间中可能变为$z$，对应希尔伯特空间，要能计算$z_i\cdot z_j$。

希望找到一个映射$\varphi (x):\chi \to$ $H$ $$\begin{array}{rl}& z_i=\varphi (x_i),z_j=\varphi (x_j)\\ & z_i\cdot z_j=\varphi (x_i)\cdot \varphi (x_j)=K(x_i,x_j)\end{array}$$

如果可以实现，非线性支持向量机变为:
$$\min \sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$

接下来我们看一个例子:

$$K(x,z)=(x\cdot z{)}^2,xz\in R^2$$

请问:$\varphi \to H$?

解: $$x=(x^{(1)},x^{(2)}{)}^T,z=(z^{(1)},z^{(2)}{)}^T$$
$$\begin{array}{rl}K(x,z)& =(x^{(1)}{z}^{(1)}+x^{(2)}{z}^{(2)}{)}^2\\ & =(x^{(1)}{z}^{(1)}{)}^2+2x^{(1)}{x}^{(2)}{z}^{(1)}{z}^{(2)}+(x^{(2)}{z}^{(2)}{)}^2\end{array}$$

我们尝试$H=R^3$
$$\varphi (x)=((x^{(1)}{)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},(x^{(2)}{)}^2{)}^T$$

1)$\varphi :R^2\to R^3$
$$\varphi (x)\cdot \varphi (z)=(x^{(1)}{z}^{(1)}{)}^2+2x^{(1)}{x}^{(2)}{z}^{(1)}{z}^{(2)}+(x^{(2)}{z}^{(2)}{)}^2=K(x,z)$$

2) $$\begin{array}{rl}& \varphi (x)=\frac{1}{\sqrt{2}}((x^{(1)}{)}^2-(x^{(2)}{)}^2,2x^{(1)}{x}^{(2)},(x^{(1)}{)}^2+(x^{(2)}{)}^2{)}^T\\ & \varphi (x)\cdot \varphi (z)=K(x,z)\end{array}$$

对于同一个核函数，有多个不同的映射！

我们总结一下:

原空间: $$\chi \in R^2,x=(x^{(1)},x^{(2)}{)}^T\in \chi$$

新空间: $$\begin{array}{rl}& Z\in R^2,z=(z^{(1)},z^{(2)}{)}^T\in Z\\ & z=\varphi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T\\ \Rightarrow & {\omega }_1(x^{(1)}{)}^2+{\omega }_2(x^{(2)}{)}^2+b=0\\ \Rightarrow & {\omega }_1{z}^{(1)}+{\omega }_2{z}^{(2)}+b=0\end{array}$$

用线性分类方法求解非线性分类问题分为两步:

首先使用一个变换将原空间的数据映射到新空间;

然后在新空间里用线性分类学习方法从训练数据中学习分类模型。

核技巧就属于这样的方法。

核技巧应用到支持向量机，其基本想法:

通过一个非线性变换将输入空间(欧氏空间R”或离散集合)对应于一个特征空间(希尔伯特空间)，使得在输入空间中的超曲面模型对应于特征空间中的超平面模型(支持向量机)。分类问题的学习任务通过在特征空间中求解线性支
持向量机就可以完成.

14.如何找正定核

原:$x_i\cdot x_j$

新:$\varphi (x_i)\cdot \varphi (x_j)=K(x_i,x_j)$核函数

我们要替换原来的内积定义，同一个向量它的内积一定大于等于0，所以找正定核是最合适不过的。

解: 第一步:我们希望找到对称函数$K(x,z)$

$x,z\in \chi$，为输入空间。

需要对$\forall x_1,x_2,\cdots ,x_m\in \chi$，$K(x,z)$对应的$Gram$矩阵半正定。

为什么要任意选取呢？因为训练数据集不确定。

我们的$Gram$矩阵为:

原来的: $$\left[\begin{array}{cccc}{x}_1\cdot x_1& x_1\cdot x_2& \cdots & x_1\cdot x_m\\ x_2\cdot x_1& x_2\cdot x_2& \cdots & x_2\cdot x_m\\ \cdots & \cdots & \cdots & \cdots \\ x_m\cdot x_1& x_m\cdot x_2& \cdots & x_m\cdot x_m\end{array}\right]$$

新的: $$\left[\begin{array}{cccc}K(x_1\cdot x_1)& K(x_1\cdot x_2)& \cdots & K(x_1\cdot x_m)\\ K(x_2\cdot x_1)& K(x_2\cdot x_2)& \cdots & K(x_2\cdot x_m)\\ \cdots & \cdots & \cdots & \cdots \\ K(x_m\cdot x_1)& K(x_m\cdot x_2)& \cdots & K(x_m\cdot x_m)\end{array}\right]$$

我们的新矩阵需要满足半正定。

半正定的定义:关于矩阵$A$，对$\forall x$（非零）存在，$x^{T}Ax\ge 0$，则称矩阵$A$是半正定。

半负定的定义:$x^{T}Ax\le 0$

正定的定义:$x^{T}Ax>0$

负定的定义:$x^{T}Ax<0$

我们的判定方法如下:

第一种方法: $$x^{T}Ax=y^{T}Dy\ge 0$$

其中$D$为对角矩阵，所有元素均大于等于0。

找$A$的特征根，全部都是大于等于0

第二种方法:

所有主子行列式大于等于0

15.映射下的新空间

我们回顾之前学习的欧式空间的定义:

我们最初的空间叫做向量空间或者线性空间，这个空间的特点是加法运算（+）和数乘运算（$\times$）是封闭的。

我们在此基础上定义内积定义，使得加法运算（+）、数乘运算（$\times$）和内积运算（$\cdot$）是封闭的。形成内积空间。

如果我们想知道向量的长度，我们引入范数的定义，形成赋范线性空间。

上面的向量空间、内积空间、赋范线性空间构成我们常见的欧式空间。

进一步，想要研究收敛性和极限，所有点都在空间内，叫做$Banach$空间。

如果不是在我们熟知的欧氏空间中研究上面的内容，我们换了一个空间，定义了新的内积及范数，并且空间是完备的，称为希尔伯特空间。

具体的实现步骤:

解: 1):

构成向量空间（找到向量空间）

$\varphi$表示为:$x\to K(\cdot ,x)$

对于$\forall x_i\in \chi ,{\alpha }_i\in R,i=1,2,\cdots ,m$

定义: $$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)$$

$f$构成集合$S$，$S$变成一个向量空间。

验证: 从$S$中$\forall f,g$，有: $$\begin{array}{rl}& f=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\\ & g=\sum _{j=1}^v{\beta }_{j}K(\cdot ,z_j)\end{array}$$ $$\begin{array}{rl}f+g& =\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)+\sum _{j=1}^v{\beta }_{j}K(\cdot ,z_j)\\ & =\sum _{i=1}^{m+l}{a}_{i}K(\cdot ,{\mu }_i)\in S\\ af& =\sum _{i=1}^{m}a{\alpha }_{i}K(\cdot ,x_i),a{\alpha }_i\in R\end{array}$$

综上所述，$S$对加法运算和数乘运算是封闭的。

2）在集合$S$上定义内积（内积空间）

定义$\ast$，对$\forall f,g\in S$，我们定义:
$$f\ast g=\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{j}K(x_i,z_j)$$

内积必须满足四个条件: $$\{\begin{array}{rl}& (1):(cf)\ast g=c(f\ast g),c\in R\\ & (2):(f+g)\ast h=f\ast h+g\ast h,h\in S\\ & (3):f\ast g=g\ast f\\ & (4):f\ast f\ge 0;f\ast f=0\Rightarrow f=0\end{array}$$

我们接下来验证是否满足四个条件:

首先是第一个: $$\begin{array}{rl}left:& cf=c\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)=\sum _{i=1}^{m}c{\alpha }_{i}K(\cdot ,x_i)\\ (cf)\ast g& =\sum _{i=1}^m\sum _{j=1}^l(c{\alpha }_i){\beta }_{j}K(x_i,z_j)\\ & =c\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{j}K(x_i,z_j)\\ & =c(f\ast g)=right\end{array}$$

接着是第二个:

首先我们定义: $$h=\sum _{q=1}^t{b}_{q}K(\cdot ,v_q)$$

令$a_i,i=1,2,\cdots ,m+l$代替${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m,{\beta }_1,{\beta }_2,\cdots ,{\beta }_l$。

令${\mu }_i,i=1,2,\cdots ,m+l$代替$x_1,x_2,\cdots ,x_m,z_1,z_2,\cdots ,z_l$。
$$\begin{array}{rl}& left:(f+g)\ast h=\sum _{i=1}^{m+l}\sum _{q=1}^t{a}_i{b}_{q}K({\mu }_i,v_q)\\ & right:\sum _{i=1}^m\sum _{q=1}^t{\alpha }_i{b}_{q}K({\alpha }_i,v_q)+\sum _{j=1}^l\sum _{q=1}^t{\beta }_j{b}_{q}K(z_j,v_q)\\ \Rightarrow & left=right\end{array}$$

我们看第三个:很明显已经成立，因为${\alpha }_i$和${\beta }_j$可以交换，$K(x_i,z_j)$是对称的，也可以换位置。

最后来看第四个:

我们首先来看第一个部分:$f\ast f\ge 0$
$$f\ast f=\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)$$

因为$K(x_i,z_j)$是对称的，所以$Gram$矩阵是半正定的，有$x^{T}Ax\ge 0$。

所以有$f\ast f\ge 0$

接下来我们看第二部分:

首先看充分性，即如果有$f=0$。 $$\begin{array}{rl}& f=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\to {\alpha }_i=0\\ \Rightarrow & f\ast f=\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)=0\end{array}$$

充分性得证！

在证明必要性之前，我们先证明接下来一个:

问题: $$\forall f,g\in S,(f\ast g{)}^2\le (f\ast f)(g\ast g)$$

解: 取$\lambda \in R$ $$\begin{array}{rl}f+\lambda g\in S& \Rightarrow (f+\lambda g)\ast (f+\lambda g)\ge 0\\ & \Rightarrow f\ast f+2\lambda (f\ast g)+{\lambda }^2(g\ast g)\ge 0\end{array}$$

我们不妨换一下: $$(g\ast g){\lambda }^2+2(f\ast g)\lambda +f\ast f\ge 0$$

我们上式是不是很贴近二次函数的问题，要想恒大于0，只需要让判别式$\Delta$的值小于等于0即可。

即我们得知: $$\begin{array}{rl}& 4(f\ast g{)}^2-4(g\ast g)(f\ast f)\le 0\\ \Rightarrow & (f\ast g{)}^2\le (f\ast f)(g\ast g)\end{array}$$

至此，我们的结论得证。接下来，我们回到原问题。
$$f=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)$$

因为$f,g$是任意取，不妨取特别的$g$，令$g=K(\cdot ,x)$ $$\begin{array}{rl}& f\ast g=\sum _{i=1}^m{\alpha }_{i}K(x,x_i)\\ & (f\ast g{)}^2=\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_{j}K(x,x_i)K(x,x_j)\\ & f\ast f=\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)\\ & g\ast g=K(x,x)\\ & (f\ast f)(g\ast g)=\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)K(x,x)\\ & (f\ast g{)}^2\le (f\ast f)(g\ast g)=0\end{array}$$

因为平方$(f\ast g{)}^2\ge 0$，所以我们可以得到: $$\begin{array}{rl}& (f\ast g{)}^2=0\\ \Rightarrow & f\ast g=0\Rightarrow \sum _{i=1}^m{\alpha }_{i}K(x,x_i)=0\Rightarrow {\alpha }_i=0\Rightarrow f=0\end{array}$$

综上所述，$\ast$代表内积运算。此时我们的向量空间变为内积空间。

我们定义$f$和$g$的内积为:
$$f\cdot g=\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{j}K(x_i,z_j)$$

3)在集合S上定义范数，升级希尔伯特空间

定义: $$||f||=\sqrt{f\cdot f}$$

此时空间转换为赋范线性空间。

新空间中K的特点:再生性！如: $$\begin{array}{rl}& f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\\ & K(\cdot ,x)\cdot f=\sum _{i=1}^m{\alpha }_{i}K(x,x_i)=f(x)\end{array}$$

再比如:$K(\cdot ,x)\cdot K(\cdot ,z)=K(x,z)$

总结:我们此处做的是如何从原始空间中找到一个希尔伯特空间！

16.正定核函数的充要条件

设$K:\chi \times \chi \to R$是对称函数，则$K(x,z)$为正定核的充要条件是$\forall x_i\in \chi ,i=1,2,\cdots ,m$，$K(x,z)$对应的$Gram$矩阵$K=[K(x_i,x_j){]}_{m\times m}$是半正定矩阵。

接下来我们证明一下这个结论:

首先看一下充分性:

$K$是半正定矩阵，我们的映射为: $$\begin{array}{rl}\varphi :& x\to K(\cdot ,x)\\ & \chi \to H\end{array}$$

$K(\cdot ,x)\cdot K(\cdot ,z)=K(x,z)$说明具有再生性，所以此时$K(x,z)$为正定核。

必要性:

$K(x,z)$为正定核,所以存在下面的映射: $$\begin{array}{rl}& \chi \to H\\ & x\to \varphi (x),z\to \varphi (z)\end{array}$$

我们有:$K(\cdot ,x)\cdot K(\cdot ,z)=K(x,z)$

怎么判断矩阵为半正定矩阵呢? $$\begin{array}{rl}& \forall x_1,x_2,\cdots ,x_m\in \chi \\ & \forall c_1,c_2,\cdots ,c_m\in R\\ & c=(c_1,c_2,\cdots ,c_m{)}^T\end{array}$$

$$K=\left[\begin{array}{cccc}K(x_1,x_1)& K(x_1,x_2)& \cdots & K(x_1,x_m)\\ K(x_2,x_1)& K(x_2,x_2)& \cdots & K(x_2,x_m)\\ \cdots & \cdots & \cdots & \cdots \\ K(x_m,x_1)& K(x_m,x_2)& \cdots & K(x_m,x_m)\end{array}\right]$$

如果有: $$c^{T}Kc\ge 0$$ 则表示$K$是半正定的矩阵。此时有:
$$c^{T}Kc=(c_1,c_2,\cdots ,c_m)\left[\begin{array}{cccc}K(x_1,x_1)& K(x_1,x_2)& \cdots & K(x_1,x_m)\\ K(x_2,x_1)& K(x_2,x_2)& \cdots & K(x_2,x_m)\\ \cdots & \cdots & \cdots & \cdots \\ K(x_m,x_1)& K(x_m,x_2)& \cdots & K(x_m,x_m)\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ \cdots \\ c_m\end{array}\right]$$

方法一:我们通过内积运算 $$(c_1,c_2,\cdots ,c_m)\left[\begin{array}{cccc}\varphi (x_1)\cdot \varphi (x_1)& \varphi (x_1)\cdot \varphi (x_2)& \cdots & \varphi (x_1)\cdot \varphi (x_m)\\ \varphi (x_2)\cdot \varphi (x_1)& \varphi (x_2)\cdot \varphi (x_2)& \cdots & \varphi (x_2)\cdot \varphi (x_m)\\ \cdots & \cdots & \cdots & \cdots \\ \varphi (x_m)\cdot \varphi (x_1)& \varphi (x_m)\cdot \varphi (x_2)& \cdots & \varphi (x_m)\cdot \varphi (x_m)\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ \cdots \\ c_m\end{array}\right]$$ $$=(c_1,c_2,\cdots ,c_m)\left[\begin{array}{c}\varphi (x_1)\\ \varphi (x_2)\\ \cdots \\ \varphi (x_m)\end{array}\right][\varphi (x_1),\varphi (x_2),\cdots ,\varphi (x_m)]\left[\begin{array}{c}{c}_1\\ c_2\\ \cdots \\ c_m\end{array}\right]=||\sum _{i=1}^m{c}_i\varphi (x_i)|{|}^2\ge 0$$

方法二:直接表示二次型 $$\begin{array}{rl}\sum _{i,j=1}^m{c}_i{c}_{j}K(x_i,x_j)& =\sum _{i,j=1}^m{c}_i{c}_j\varphi (x_i)\cdot \varphi (x_j)\\ & =\sum _{i=1}^m\sum _{j=1}^m[c_i\varphi (x_i)]\cdot [c_j\varphi (x_j)]\\ & =[c_1\varphi (x_1)+c_2\varphi (x_2)+\cdots +c_m\varphi (x_m)]\cdot [c_1\varphi (x_1)+c_2\varphi (x_2)+\cdots +c_m\varphi (x_m)]\\ & =||\sum _{i=1}^m{c}_i\varphi (x_i)|{|}_2^2\end{array}$$

正定核的等价定义:

设$\chi \in R^n,K(x,z)$是定义在$\chi \times \chi$上的对称函数，如果对$\forall x_i\in \chi ,i=1,2,\cdots ,m$，$K(x,z)$对应的$Gram$矩阵$K=[K(x_i,x_j){]}_{m\times m}$是半正定矩阵，则称$K(x,z)$是正定核。

17.常用核函数

:定义在欧式空间上

1）多项式核函数 $$K(x,z)=(x\cdot z+1{)}^p$$

它的一般形式为: $$(x\cdot z+c{)}^p$$ 其中$c$是常量。

决策函数:
$$f(x)=sign(\sum _{i=1}^N{a}_i^{\ast }{y}_i\cdot (x_i\cdot x+1{)}^p+b^{\ast })$$

2）高斯核函数 $$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$$

决策函数:
$$f(x)=sign(\sum _{i=1}^N{a}_i^{\ast }{y}_{i}exp(-\frac{||x-x_i|{|}^2}{2{\sigma }^2})+b^{\ast })$$
:定义在离散数据集合上

字符串对应的空间映射到高维空间:
$$[{\varphi }_n(s){]}_{\mu }=\sum _{i,s(i)=\mu }{\lambda }^{(i)}$$

$n$表示字符串长度，$s$是字符串，$l(i)$表示小的字符串对应的长度。

例子:一个文本[’big’,’pig’,’bag’]

长度为2的子字符串为[’bi’,’bg’,’ig’,’pi’,’pg’,’ba’,’ag’]

投影的特征空间取$R^7$，计算长度:（最后一个元素位置）-（最前一个位置）+1

    bi            bg            ig            pi            pg            ba            ag

---

big ${\lambda }^2$ ${\lambda }^3$ ${\lambda }^2$ 0 0 0 0
pig 0 0 ${\lambda }^2$ ${\lambda }^2$ ${\lambda }^3$ 0 0
bag 0 ${\lambda }^3$ 0 0 0 ${\lambda }^2$ ${\lambda }^2$

我们得出结果: $$K(big,pig)={\lambda }^4,K(big,bag)={\lambda }^6$$

度量两个字符串之间的相似度的方法可以使用—余弦相似度:
$$\cos \theta =\frac{x\cdot y}{||x||||y||}$$

比较两个文本之间的相似度，如: $$\begin{array}{rl}& \frac{K(big,pig)}{||K(big,big)||||K(pig,pig)||}\\ =& \frac{{\lambda }^4}{\sqrt{{\lambda }^6+2{\lambda }^4}\sqrt{{\lambda }^6+2{\lambda }^4}}\\ =& \frac{{\lambda }^4}{{\lambda }^6+2{\lambda }^4}=\frac{1}{2+{\lambda }^2}\end{array}$$

2）字符串核函数 $$[{\varphi }_n(s){]}_{\mu }=\sum _{i,s(i)=\mu }{\lambda }^{(i)}$$

18.总结

线性支持向量机

[线性支持向量机]{}

输入:训练集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中， x i ∈ χ ∈ R n    ,    y i ∈ { − 1 , + 1 } x_i\in\chi\in R^n\;,\;y_i\in\{-1,+1\} xi​∈χ∈Rn,yi​∈{−1,+1}。

输出:分离超平面与分类决策函数

算法:

给定惩罚系数$c\ge 0$，构造优化问题 $$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le c,i=1,2,\cdots ,N\end{array}$$

求解最优化问题，得到最优解
$${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$$

根据${\alpha }^{\ast }$求解 $${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

挑出符合$0<{\alpha }_i^{\ast }<c$的点$(x_j,y_j)$计算:
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

分离超平面为: $${\omega }^{\ast }\cdot x+b^{\ast }=0$$

决策函数为: $$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$$

非线性支持向量机

[非线性支持向量机]

算法:

给定惩罚系数$c\ge 0$，构造优化问题 $$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i\\ & s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le c,i=1,2,\cdots ,N\end{array}$$

求解最优化问题，得到最优解
$${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$$

根据${\alpha }^{\ast }$求解
$${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(\cdot ,x_i)$$

挑出符合$0<{\alpha }_i^{\ast }<c$的点$(x_j,y_j)$计算:
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x_j)$$

决策函数: $$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$

其中$x$为新的实例。