支持向量机知识补充

SVM概述

\rule[-0pt]{13cm}{0.05em}
$\cdot$支持向量机在本质上就是一个二分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。
$\cdot$支持向量机还包括和技巧，这使它成为实质上的非线性分类器
$\cdot$支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优算法。

SVM分类

\rule[-0pt]{13cm}{0.05em}
$\cdot$线性可分支持向量机----硬间隔最大化
$\cdot$线性支持向量机====训练数据近似线性可分时，通过软间隔最大化
$\cdot$非线性支持向量机----当训练数据线性不可分时，通过使用核技巧及软间隔最大化

线性可分和线性不可分

\rule[-0pt]{13cm}{0.05em}
训练样本在空间中的分布可以被一条直线分开。我们把这种样本集叫做线性可分训练样本集。

我们没有办法用一条直线将训练样本分开，就叫做非线性可分训练样本集

我们把在线性可分的这个样本集上画直线的方法想办法推广到非线性可分的样本集上，就是SVM的思路
这种情况是在二维的情况下，由于我们的人眼只能感知三维，所以当特征空间维度≥4维时，我们将分开两种特征向量的平面称为超平面。

线性可分样本集

\rule[-0pt]{13cm}{0.05em}
先来看特征空间是二维的情况：

两个维度分别由$x_1,x_2$表示，我们可以找出一条直线将○和×分开，进一步假设直线方程是$$w_1{x}_1+w_2{x}_2+b=0$$我们把$w$叫做x的权重，把b叫做偏置，然后将大于0和小于0的情况假设出来。
用数学严格定义训练样本和标签
假设：
\qquad 我们有N个训练样本和他们的标签 { ( X 1 , y 1 ) , ( X 2 , y 2 ) , . . . , ( X N , y N } \left \{(X_1,y_1),(X_2,y_2),...,(X_N,y_N\right \} {(X1​,y1​),(X2​,y2​),...,(XN​,yN​}，其中 X i = [ x i 1 , x i 2 ] T y i = { + 1 , − 1 } X_i=[x_{i1},x_{i2}]^T \\ y_i=\left \{ +1,-1\right \} Xi​=[xi1​,xi2​]Tyi​={+1,−1}
$X_i$是一个向量，在二维的特征空间中有两个分量，$y_i$是$X_i$的标签，这些规定都是人为的，可以颠倒。

用数学严格的定义线性可分
一个训练样本集{$(X_i,y_i),...,(X_N,y_N)$},在i=1~N线性可分，是指存在$(w_1,w_2,b)$使得对i=1_N,有：
（1）若$y_i=+1$,则$w_1{X}_{i1}+w_2{X}_{i2}+b>0$
（2）若$y_i=-1$,则$w_1{X}_{i1}+w_2{X}_{i2}+b<0$

用向量形式来定义线性可分
假设：
\qquad $X_i={\left[\begin{array}{c}{x}_{i1}\\ x_{i2}\end{array}\right]}^{T}w={\left[\begin{array}{c}{w}_1\\ 2_2\end{array}\right]}^T$
那么上面两个条件将会被简化的定义为：
（1）若$y_i=+1$,则$w^T{X}_i+b>0$
（2）若$y_i=-1$,则$w^T{X}_i+b<0$
如果
$y+i=+1或1$
$一个训练样本集X_i,y_i,在i=1\sim N$线性可分，$是指存在(w,b)（向量w和常数b）使得对i=1\sim N，有:y_i(w^T{X}_i+b)>0$

支持向量机算法
1.解决线性可分问题
2.再将线性可分问题中获得的结论推广到线性不可分问题中

针对第一个问题，如果一个数据集是线性可分的，那么将存在无数多个超平main将其分开，那么在这无数多个超平面中，哪一个最好呢？

大部分人会觉得2号线最好，但实际上我们是进行了一定的先验分布假设。

基于最优化理论
我们将这个二号线分别向两个样本方向进行平移，直到它擦到一个或多个训练样本为止。我们称被擦到的向量为支持向量，把这两条平行线（原线和移动的线）之间的距离称为间隔，我们要找的就是使平行线间隔最大的一条线。

但是使用最大化间隔这种条件不能唯一的确定一条直线，任何平行于这个2号线同时也能分开两类的直线间隔相同。所以我们还要定义，这条线应该在上下两个平行线的中间。

支持向量机寻找的最优分类直线应满足（基于二维特征空间）：
1.该直线分开了两类
2.该直线最大化间隔
3.该直线处于间隔的中间，到所有支持向量距离相等。
若是高维特征空间将直线换为超平面即可

优化问题

\rule[-0pt]{13cm}{0.05em}

最小化:$\frac{1}{2}||w|{|}^2$
$$\begin{gathered} ||w|{|}^2假设w是一个向量，有m个分量 \\ w=\left[\begin{array}{c}{w}_1\\ w_2\\ \cdot \\ \cdot \\ \cdot \\ w_m\end{array}\right]则 \\ ||w|{|}^2=w_1^2+w_2^2+...+w_m^2=\sum _{i=1}^m{w}_i^2 \end{gathered}$$
因此支持向量机的优化问题是最小化$||w|{|}^2$

限制条件:$y_i(w^T{x}_i+b)\ge 1,(i=1\sim N)$

已知：训练样本集 { ( X i , y i ) } , i = 1 ∼ N ; \left \{ (X_i,y_i)\right\},i=1\sim N; {(Xi​,yi​)},i=1∼N;
待求：$(w,b)$
支持向量机要找一个超平面处于间隔最大的中间，到两边所有支持向量距离相等。
为了推出这个问题，我们需要注意两个事实
事实1
$$\begin{gathered} w^{T}x+b=0与 \\ (\alpha w^T)x+(ab)=0是同一个超平面。(a\ne 0) \end{gathered}$$
事实2
$$\begin{gathered} 一个点X_0到超平面w^{T}x+b=0的距离 \\ d=\frac{|w^{T}x+b=0|}{||w||}(二维情况下) \end{gathered}$$

$$\begin{gathered} 一个点(x_0,y_0)到超平面 \\ {w}_{1}x+w_2{y}_0+b=0的距离 \\ d=\frac{|w_1{x}_0+w_2{y}_0+b|}{\sqrt{w_1^2+w_2^2}} \end{gathered}$$

$△$我们可以用a去缩放$(w,b)->(\alpha w,ab)$,最终使在支持向量$x_0$上有$|w^T{x}_0+b|=1$
而在非支持向量上$|w^T{x}_0+b|>1$（基于事实1）
再根据事实2，支持向量$x_0$到超平面的距离将会变为：
$$d=\frac{|w^T{x}_0+b|}{||w||}=\frac{1}{||w||}$$我们要最大化支持向量到超平面的距离，等价于最小化$||w||$

再来看限制条件：非支持向量到超平面的距离一定是大于支持向量到超平面的距离的，所以$$|w^T{x}_0+b|>1$$，综合点到超平面的距离，我们可以写$$y_i(w^T{x}_i+b)\ge 1,(i=1\sim N)$$
$y_i$的作用是协调超平面的左右，使得一边的$(w^T{x}_i+b)>1$，另一边的$(w^T{x}_i+b)<1$,上述限制条件中，1可以改为任意正数，这样算出来的b和原来的b会相差一个a，实际上还是表示的同一个超平面

总结：
线性可分的情况下，支持向量机寻找最佳超平面的优化问题可以表示为：

最小化：$\frac{1}{2}||w|{|}^2$
限制条件：$y_i(w^T{x}_i+b)\ge 1,(i=1\sim N)$
$(X_i,y_i),i=1\sim N$是已知的，$(w,b)$是待求的，可以看出这是凸优化问题中的二次规划问题。

凸优化简单讨论

\rule[-0pt]{13cm}{0.05em}
二次规划的定义：
1.目标函数是二次项
2.限制条件是一次项
这样的凸优化问题，要么无解，要么只有唯一的最小值的解。因为凸优化问题只有一个唯一的全局极值，所以我们把它当成是一个已经解决的问题，可以用一些算法去求他的极值。
下面是一个凸优化问题的例子：

只有一个变量的目标函数$f(w)$,根据$f(w)$的梯度不断试探。最后算法都会沿着梯度逐渐下降到全局的最小值上去。只要一个优化问题是凸的，我们总能找到高效快速的算法去解决它。

线性不可分情况

\rule[-0pt]{13cm}{0.05em}
线性不可分情况在满足以上限制条件的情况下是无解的，我们需要适当的放松限制条件，使这种最优化问题变得有解。
基本思路：对每个训练样本及标签，设置一个松弛变量${\delta }_i$，我们就可以将松弛变量改写为：$$y_i(w^T{X}_i+b)\ge 1-{\delta }_i,(i=1\sim N)$$
只要松弛变量取的足够大，限制条件是一定可以成立的，但同时也要加入新的限制，阻止每个松弛变量无限地扩大，让他局限在一个合理的范围。
改写如下：
最小化: $\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\delta }_i或\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\delta }_i^2$
限制条件:$$\begin{gathered} (1){\delta }_i\ge 0,(i=1\sim N) \\ (2)y_i(w^T{X}_i+b)\ge 1-{\delta }_i,(i=1\sim N) \end{gathered}$$
我们不仅要让$||w|{|}^2$最小，也要让${\sum }_{i=1}^N{\delta }_i$最小，这里比例因子C起到了平衡两项的关键作用。C是人为设定的，这种需要事先人为设定的参数，叫做算法的超参数，一般在实际的应用当中，我们要不断变化C的值，同时测试算法的识别率，然后选取使得识别率达到最大的超参数C的值。一个算法的超参数越多，意味着算法需要手动调整优化的地方就越多，这样算法的自动性也会降低。支持向量机是超参数很少的算法。

在线性不可分的情况下应用支持向量机
取目标函数：$\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\delta }_i,C=10000$
我们将C取得很大，会尽量地破事所有的${\delta }_i$趋近于0，使得最终的超平面和线性可分情况下保持基本一致。但是在有些情况下，线性模型的表现力是不够的，我们只有想办法扩大可选函数的范围，使他超越线性，才有可能应对各种复杂的线性不可分的情况。

低维到高维的映射

\rule[-0pt]{13cm}{0.05em}
通过将特征空间由低维向高维的映射，在高维的特征空间中用线性超平面对数据进行分类。
我们来看一个在低维的特征空间中线性不可分的例子：

即：$x_1=\left[\begin{array}{c}0\\ 0\end{array}\right]\in C_1{x}_2=\left[\begin{array}{c}1\\ 1\end{array}\right]\in C_1{x}_3=\left[\begin{array}{c}1\\ 0\end{array}\right]\in C_2{x}_4=\left[\begin{array}{c}0\\ 1\end{array}\right]\in C_2$

这时候我们构建一个从二维到五维的映射$\phi (x)$
$$\phi (x):x=\left[\begin{array}{c}a\\ b\end{array}\right]⟶\phi (x)=\left[\begin{array}{c}{a}^2\\ b^2\\ a\\ b\\ ab\end{array}\right]$$
这样我们可以算出$x_{1,2,3,4}$对应的高维分量：
$$\phi (x_1)=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 0\end{array}\right]\phi (x_2)=\left[\begin{array}{c}1\\ 1\\ 1\\ 1\\ 1\end{array}\right]\phi (x_3)=\left[\begin{array}{c}1\\ 0\\ 1\\ 0\\ 0\end{array}\right]\phi (x_4)=\left[\begin{array}{c}0\\ 1\\ 0\\ 1\\ 0\end{array}\right]$$
当映射变为五维的时候，我们发现这些分量变得线性可分了。
设：$$w=\left[\begin{array}{c}-1\\ -1\\ -1\\ -1\\ 6\end{array}\right],b=1$$
这样我们可以再算出来：$$w^T\phi (x_1)+b=1\ge 0w^T\phi (x_2)+b=3\ge 0$$
$$w^T\phi (x_3)+b=-1<0w^T\phi (x_4)+b=-1<0$$
根据这个计算结果，可以看出它确实变成了线性可分，这里有一个定理说明了一个更一般的结论：

假设：在一个M维空间上随机取N个训练样本，随机的对每个训练样本赋予标签+1或-1
同时假设：这些样本线性可分的概率为P(M)，当M趋于无穷大的时候，P(M)=1

也就是当我们在增加特征空间的维度M的时候，超平面的待估计参数$(w,b)$的维度也会增加，整个算法模型的自由度会增加，就更有可能分开低维时候无法分开的数据集。这个定理告诉我们，将训练样本由低维映射到高维们可以增大线性可分的概率。那我们如何构造这样一个由低维到高维的映射就成为关键性的问题。假设$\phi (x)$已经确定的情况，高维情况下优化问题的解法和低维情况是完全类似的。

最小化: $\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\delta }_i或\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\delta }_i^2$
限制条件:$$\begin{gathered} (1){\delta }_i\ge 0,(i=1\sim N) \\ (2)y_i(w^T\phi (X_i)+b)\ge 1-{\delta }_i,(i=1\sim N) \end{gathered}$$

核函数

\rule[-0pt]{13cm}{0.05em}
这一部分具体研究一下$\phi (x)$的形式
我们可以不用知道$\phi (x)$的具体形式，假设任意两个向量$K(X_1,X_2)=\phi (X_1{)}^T\phi (X_2)$,我们可以通过一些技巧获得测试样本x的类别信息，从而完成对测试样本类别的预测。我们定义$K(X_1,X_2)$为核函数，它是一个实数。
我们举两个例子来看一下核函数以及低维到高维映射$\phi (x)$的关系

假设：$\phi (x)$是一个将二维向量映射为三维向量的映射
$$\begin{gathered} X=[x_1,x_2{]}^T \\ \phi (X)=\phi ([x_1,x_2{]}^T)=[x_1^2,x_1{x}_2,x_2^2] \end{gathered}$$
假设有两个二维向量：
$$X_1=[x_{11},x_{12}{]}^T{X}_2=[x_{21},x_{22}{]}^T$$
$$\begin{array}{rl}K(X_1,X_2)& =\phi (X_1{)}^T\phi (X_2)\\ & =[x_{11}^2,x_{11}{x}_{12},x_{12}^2][x_{21}^2,x_{21}{x}_{22},x_{12}^2{]}^T\\ & =x_{11}^2{x}_{21}^2+x_{11}{x}_{12}{x}_{21}{x}_{22}+x_{12}^2{x}_{22}^2\end{array}$$上面这个最终结果是一个数。
这个例子是已知$\phi (x)$求K，下面是一个已知K来求$\phi (x)$的例子。
假设：X是一个二维向量
$$X_1=[x_{11},x_{12}{]}^T{X}_2=[x_{21},x_{22}{]}^T$$
假设：$$\begin{array}{rl}K(X_1,X_2)& =(x_{11}{x}_{21}+x_{12}{x}_{22}+1{)}^2\\ & =x_{11}^2{x}_{21}^2+x_{12}^2{x}_{22}^2+1+2x_{11}{x}_{12}{x}_{21}{x}_{22}+2x_{11}{x}_{21}+2x_{12}{x}_{22}\end{array}$$
$K(X_1,X_2)=\phi (X_1{)}^T\phi (X_2)$
假设：
$$X=[x_1,x_2{]}^T$$
$$\begin{array}{rl}\phi (X)& =\phi ([x_1,x_2{]}^T)\\ & =[x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2,\sqrt{2}{x}_1,\sqrt{2}{x}_2{]}^T\end{array}$$核函数K和映射$\phi$是一一对应的关系。核函数的形式不能随意取，需要满足一定的条件才能分解成两个$\phi$内积的形式。

mercer定理
$$\begin{gathered} K(X_1,X_2)能写成\phi (X_1{)}^T\phi (X_2)的充要条件： \\ 1.K(X_1,X_2)=K(X_2,X_1)(交换性) \\ 2.\forall C_i(i=1\sim N),\forall N有\sum _{i=1}^N\sum _{j=1}^N{C}_i{C}_{j}K(X_i{X}_j)\ge 0(半正定性) \end{gathered}$$
例如：可以证明高斯核函数：
$$K(X_1,X_2)=e^{-\frac{||X_1-X_2|{|}^2}{2{\sigma }^2}}$$
要注意这个式子中$\phi (x)$不能写成显式的表达式

原问题和对偶问题

\rule[-0pt]{13cm}{0.05em}

原问题：
最小化：$f(w)$
限制条件：$\begin{array}{rl}& g_i(w)\le 0i=1\sim N\\ & h_i(w)=0i=1\sim m\end{array}$

定义该原问题的对偶问题如下：
定义函数：$$\begin{array}{rl}L(w,\alpha ,\beta )& =f(w)+\sum _{i=1}^K{\alpha }_i{g}_i(w)+\sum _{i=1}^K{\beta }_i{h}_i(w)\\ & =f(w)+{\alpha }^{T}g(w)+{\beta }^{T}h(w)\end{array}$$
其中$$\begin{array}{rl}& \alpha =[{\alpha }_1,{\alpha }_2,...,{\alpha }_K{]}^T\\ & \beta =[{\beta }_1,{\beta }_2,...,{\beta }_M{]}^T\\ & g(w)=[g_1(w),g_2(w),...,g_K(w){]}^T\\ & h(w)=[h_1(w),h_2(w),...,h_M(w){]}^T\end{array}$$
在此基础上对偶问题定义如下：
最大化：$\theta (\alpha ,\beta )=infL(w,\alpha ,\beta )所有定义域内的w$
限制条件：${\alpha }_i\ge 0,i=1\sim K$
综合原问题和对偶问题的定义得到：
定理一：如果$w^{\ast }$是原问题的解，$({\alpha }^{\ast },{\beta }^{\ast })$是对偶问题的解，则有：
$$f(w^{\ast })\ge \theta ({\alpha }^{\ast },{\beta }^{\ast })$$
证明如下：$$\begin{array}{rl}\theta ({\alpha }^{\ast },{\beta }^{\ast })& =infL(w,{\alpha }^{\ast },{\beta }^{\ast })\\ & =\le L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })\\ & =f(w^{\ast })+{\alpha }^{\ast T}g(w^{\ast })+{\beta }^{\ast T}h(w^{\ast })(看限制条件)\\ & \le f(w^{\ast })\end{array}$$
我们把$f(w^{\ast })-\theta ({\alpha }^{\ast },{\beta }^{\ast })$定义为对偶差距

强对偶定理
如果$g(w)=Aw+b,h(w)=Cw+d,f(w)$为凸函数，则有$f(w^{\ast })=\theta ({\alpha }^{\ast },{\beta }^{\ast })$，则对偶差距为0
即，原问题的目标函数是凸函数，限制条件是线性函数，则$f(w^{\ast })=\theta ({\alpha }^{\ast },{\beta }^{\ast })$

KKT条件
若$f(w^{\ast }=\theta ({\alpha }^{\ast },{\beta }^{\ast })$，则定理一中必然能够推出，对于所有的i=1~K，要么${\alpha }_i=0$，要么$g_i(w^{\ast })=0$

转化为对偶问题
首先将${\delta }_i\ge 0(i=1\sim N)转换成{\delta }_i\le 0(i=1\sim N)$
这样就能得到最小化：$\frac{1}{2}||w|{|}^2-C{\sum }_{i=1}^N{\delta }_i$
限制条件：$\begin{array}{rl}& (1){\delta }_i\le 0(i=1\sim N)\\ & (2)y_i[w^T\phi (X_i)+b]\ge 1+{\delta }_i(i=1\sim N)\end{array}$
再整理一下：
最小化: $\frac{1}{2}||w|{|}^2-C{\sum }_{i=1}^N{\delta }_i或\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\delta }_i^2$
限制条件:$\begin{array}{rl}& (1){\delta }_i\le 0,(i=1\sim N)\\ & (2)1+{\delta }_i-y_i{w}^T\phi (X_i)-y_{i}b\le 0(i=1\sim N)\end{array}$

求解
需要注意：自变量$w=(w,\alpha ,\beta )$，不等式$g_i(w)\le 0$被分成了两部分，一部分是：${\delta }_i\le 0$，另一部分是：$1+{\delta }_i-y_i{w}^T\phi (X_i)-y_{i}b\le 0(i=1\sim N)$
将对偶问题写成如下的形式：
最大化:$$\begin{array}{rl}\theta (\alpha ,\beta )& =\underset{w,{\phi }_i,b}{\inf }\left\{\frac{1}{2}||w|{|}^2-C\sum _{i=1}^N{\delta }_i+\sum _{i=1}^N{\beta }_i{\delta }_i+\sum _{i=1}^N{\alpha }_i[1+{\delta }_i-y_i{w}^T\phi (X_i)-y_{i}b]\right\}\end{array}$$
限制条件：$\begin{array}{rl}& (1){\alpha }_i\ge 0\\ & (2){\beta }_i\ge 0\end{array}$
对$(w,b,{\delta }_i)$求导并令导数为0
得到：$$\begin{array}{rl}& (1)\frac{\partial \theta }{\partial w}=w-\sum _{i=1}^N{\alpha }_i\phi (X_i)y_i=0⟹w=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i)\\ & (2)\frac{\partial \theta }{\partial {\delta }_i}=-C+{\alpha }_i+{\beta }_i=0⟹{\alpha }_i+{\beta }_i=C\\ & (3)\frac{\partial \theta }{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0⟹\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
代入上式可以得到：
最大化：$\theta (\alpha ,\beta )={\sum }_{i=1}^N{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j\phi (X_i{)}^T\phi (X_j)$
限制条件：$\begin{array}{rl}& (1)0\le {\alpha }_i\le C,(i=1\sim N)\\ & (2)\sum _{i=1}^N{\alpha }_i{y}_i=0(i=1\sim N)\end{array}$

算法流程

\rule[-0pt]{13cm}{0.05em}
我们注意到$\phi (X_i{)}^T\phi (X_j)=K(X_i,X_j)$
即我们只要知道核函数，就能求解这个对偶问题了。我们在接触所有的${\alpha }_i$后，可以根据$w={\sum }_{i=1}^N{\alpha }_i{y}_i\phi (X_i)$， 要注意$\phi (x)$不见得有显式表达
对于原问题的$w和b$，我们先看一下如何求b
由于$w={\sum }_{j=1}^N{\alpha }_j{y}_j\phi (X_j)$，则$$\begin{array}{rl}{w}^T\phi (X_i)& =\sum _{j=1}^N{\alpha }_j{y}_j\phi (X_j{)}^T\phi (X_i)\\ & =\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_j,X_i)\end{array}$$
根据KKT条件：$$\begin{gathered} {\alpha }_i[1+{\delta }_i-y_i{w}^T\phi (X_i)-y_{i}b]=0 \\ {\beta }_i{\delta }_i=0⟹(c-{\alpha }_i){\delta }_i \end{gathered}$$
如果对于某个$i,{\alpha }_i\ne 0且{\alpha }_i\ne c$，则根据KKT条件，必有${\delta }_i=0$
且$1+{\delta }_i-y_i{w}^T\phi (X_i)-y_{i}b=0$，其中$$y_i{w}^T\phi (X_i)=\sum _{j=1}^N{\alpha }_i{y}_i{y}_{j}K(X_j,X_i)$$
所以只需要找到一个$0<{\alpha }_i<C$
就可以求出b：$$b=\frac{1-{\sum }_{j=1}^N{\alpha }_i{y}_i{y}_{j}K(X_j,X_i)}{y_i}$$
算出b之后，我们考虑对于一个测试样本X如何获得其测试类别：
通过计算$$w^T\phi (X)+b$$
将$$w=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i)$$代入，将会得到：
$$\begin{array}{rl}{w}^T\phi (X)+b& =\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i{)}^T\phi (X)+b\\ & =\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\end{array}$$
即使我们不知道$\phi (x)$的具体形式，只知道核函数，也可以算出$w^T\phi (X)+b$这一过程也被称作“核函数戏法”，最后我们得到如下的判别标准。
$$\begin{gathered} 如果\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\ge 0,那么X\in C_1 \\ 如果\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b<0,那么X\in C_2 \end{gathered}$$
总结：
训练过程：
输入训练数据 { ( X i , y i ) } , i = 1 ∼ N , 其 中 y i = ± 1 \left\{ (X_i,y_i)\right\},i=1\sim N,其中y_i=\pm1 {(Xi​,yi​)},i=1∼N,其中yi​=±1
接下来求解如下的优化问题：
最大化：$$\theta (\alpha )=\sum _{i=1}^N{\alpha }_i\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j\phi (X_i{)}^T\phi (X_j)$$
限制条件：$$\begin{array}{rl}& (1)0\le {\delta }_i\le C_i(i=1\sim N)\\ & (2)\sum _{i=1}^N{\alpha }_i{y}_i=0,(i=1\sim N)\end{array}$$
求b$$找一个{\alpha }_i\ne 0且{\alpha }_i\ne c,则b=\frac{1-{\sum }_{j=1}^N{\alpha }_i{y}_i{y}_{j}K(X_j,X_i)}{y_i}$$
测试过程：
$$\begin{gathered} 如果\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\ge 0,y=+1 \\ 如果\sum _{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b<0,y=-1 \end{gathered}$$

识别系统的性能度量

\rule[-0pt]{13cm}{0.05em}

单用识别率来判断系统的好坏是没意义的，我们通过几个度量系统性能的标准来更全面的反应性能。
混淆矩阵

系统的识别率为：(TP+TN)/(TP+TN+FP+FN)
TP+FN=所有正样本的数量
FP+TN=所有负样本的数量
混淆矩阵的概率形式为：

TP+FN=1
FP+TN=1

ROC曲线
支持向量机的判别公式：

·