支持向量机与SMO算法详解

一、支持向量机基本型

  在一个二维平面上划分两种类型的样本点可能有多种方案，那么如何选择最优的划分方案呢？最直观的方法是选择一条距离两种样本点“最远的”直线。例如下图中的加粗分割线：

  拓展到高纬空间，划分不同样本的超平面则可以表示为：$w^{T}x+b=0$。那么如何寻找到距离两种样本最远的超平面呢，可以将平面$w^{T}x+b=0$进行平移得到平面$w^{T}x+b=\xi$、$w^{T}x+b=-\xi$使这两个平面正好与两种样本点相切。对平面的表达式进行变形：
$$\{\begin{array}{l}{w}^{T}x+b=+\xi \\ w^{T}x+b=-\xi \end{array}\Rightarrow \{\begin{array}{l}\frac{w^T}{\xi }x+\frac{b}{\xi }=+1\\ \frac{w^T}{\xi }x+\frac{b}{\xi }=-1\end{array}$$
  令$w^T=\frac{w^T}{\xi }$，$b=\frac{b}{\xi }$，则有下图：

  其中，与超平面$w^{T}x+b=1$，$w^{T}x+b=-1$相切的样本点被称为支持向量，这两个平面我简称为支持平面，那么$r=\frac{2}{\Vert w\Vert }$则为两个支持平面之间的间隔。
  想要使超平面$w^{T}x+b=0$正确划分样本点，同时尽量使$r$最大，则可以建立如下数学模型：
$$\begin{gathered} \underset{w,b}{\mathrm{argmax}}\frac{2}{\Vert w\Vert } \\ s.t.\{\begin{array}{l}{w}^T{x}_i+b\ge +1,y_i=+1\\ w^T{x}_i+b\le -1,y_i=-1\end{array} \end{gathered}$$
  其中$st$条件可以简化为：$y_i(w^T{x}_i+b)\ge 1$。整个问题则可以简化为：
$$\begin{gathered} \underset{w,b}{\mathrm{argmin}}\frac{\Vert w{\Vert }^2}{2} \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,3...,m \end{gathered}$$
  这便是支持向量机的基本数学模型。

二、问题求解

2.1 对偶问题

  通过对偶问题往往能有效解决一些复杂的问题，这里可以通过拉格朗日乘数法求出支持向量机基本型的对偶问题。
$$L(w,b,\alpha )=\frac{\Vert w{\Vert }^2}{2}+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b)),{\alpha }_i\ge 0$$
使拉格朗日函数$L$分别对$w,b$求偏导，可得：
$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\frac{\partial L}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}_i$$
令值为0，可得：
$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\sum _{i=1}^m{\alpha }_i{y}_i=0$$
代入拉格朗日函数：
$$\begin{array}{rl}L& =\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i(1-y_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_j^T{x}_i+b))\\ & =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_j^T{x}_i+b)\\ & =-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j+\sum _{i=1}^m{\alpha }_i\end{array}$$
固定$w,b$，设$L(w,b)=\max L(w,b,\alpha )$，则有：
$$\arg \underset{w,b}{\min }L(w,b)=\arg \underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )=\arg \underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )=\underset{\alpha }{\mathrm{argmax}}L(\alpha )$$

即，原问题可以转换为如下的对偶问题：
$$\begin{gathered} \underset{\alpha }{\mathrm{argmin}}(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j-\sum _{i=1}^m{\alpha }_i) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
由KKT条件第三条定理可得：
$$\{\begin{array}{l}\alpha \ge 0\\ y_i(w^T{x}_i+b)\ge 1\\ {\sum }_{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))=0\end{array}$$

2.2 使用SMO算法

  SMO算法，即序列最小优化算法，这是一种针对SVM的高效优化算法。其基本思想如下：
  想要优化整个$\alpha$序列，则可以考虑先固定其余的$\alpha$，剩余一个${\alpha }_i$，并通过求函数在${\alpha }_i$上的极值点来更新${\alpha }_i$，从而可以依次求解出所有的$\alpha$。
  然而，由于约束${\sum }_{i=1}^m{\alpha }_i{y}_i=0$的存在，一旦固定$m-1$个$\alpha$，那么剩下的那个${\alpha }_i$也将被固定。所以实际上SMO算法通常选取两个$\alpha$，即${\alpha }_i$与${\alpha }_j$。通过不断地迭代选取和更新${\alpha }_i$与${\alpha }_j$直至收敛，即可完成优化。
  以上是通过SMO算法优化2.1中提出的对偶问题的基本思路，其具体数学推导过程将在四、SMO算法中详细介绍。

三、处理线性不可分的情况

  设想有如下情况：数据集中出现异常数据，导致少量样本点远离其同类样本点群，如果SVM还按照原本的规则进行划分，则可能找到一个狭窄的超平面导致过拟合，甚至还可能根本找不到可行的超平面，例如：

为了防止这种情况的产生，SVM采用了一些新的技巧。

3.1 软间隔与正则化

  引入软间隔的目的是为了允许SVM在一些样本上出错，即允许部分样本不服从以下约束：
$$y_i(w^T{x}_i+b)\ge 1$$
但是，不满足条件的样本应当尽可能少，所以优化函数可以改写为：
$$\underset{w,b}{\mathrm{argmin}}\frac{1}{2}\Vert w{\Vert }^2+\lambda \sum _{i=1}^{m}l(y_i(w^T{x}_i+b)-1)$$
$$l(x)=\{\begin{array}{l}1,\text{if}x<0;\\ 0,\text{otherwise.}\end{array}$$
  通过这样的“罚分”技巧以及正则化，可以有效控制SVM对错误样本的容忍度。但是函数$l(x)$是一个阶跃函数，数学性质不好，所以一般使用如下函数来进行代替：

• hinge损失函数：$l_{hinge}(x)=\max (0,1-x)$；
• 指数损失函数：$l_{exp}(x)=e^{-x}$；
• 对率损失函数：$l_{log}(x)=\log (1+e^{-z})$。
  
    根据上面的罚分函数，可以引入一个松弛变量${\xi }_i\ge 0$，然后将优化函数简写为：
  $$\begin{gathered} \underset{w,b}{\mathrm{argmin}}\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i{\xi }_i\ge 0 \end{gathered}$$
    同样使用拉格朗日乘数法，写出上述优化函数的拉格朗日函数：
  $$\begin{gathered} L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i \\ \alpha \ge 0,\mu \ge 0 \end{gathered}$$
  令上式分别对$w$、$b$、$\xi$的偏导为0可得：
  $$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_{i}0=\sum _{i=1}^m{\alpha }_i{y}_{i}C={\alpha }_i+{\mu }_i$$
  将上面的三个式子代入原式可得原问题的对偶问题：
  $$\begin{gathered} \underset{\alpha }{\mathrm{argmin}}(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le \alpha \le C \end{gathered}$$
  由KKT条件可得：
  $$\{\begin{array}{l}\xi \ge 0\\ \alpha \ge 0,\mu \ge 0\\ {\alpha }_i+{\mu }_i=C\\ y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\sum }_{i=1}^m{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\\ {\sum }_{i=1}^m{\mu }_i{\xi }_i=0\end{array}$$
    通过观察可以发现，软间隔SVM的对偶问题和硬间隔的在形式上一致，只是约束条件由$\alpha \ge 0$变成了$0\le \alpha \le C$，其求解方法和硬间隔SVM一致。

3.2 核函数

  对于一个线性不可分的数据集，可以考虑通过函数映射将其映射到更高维度的空间内使之线性可分，例如：

  事实上，只要原始空间是有限维，即特征数量有限，那么便一定存在一个更高维度的特征空间使样本线性可分。假设映射后的样本为$x^{\ast }$，那么对偶问题就变成了：
$$\begin{gathered} \underset{\alpha }{\mathrm{argmin}}(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^{\ast T}{x}_j^{\ast }-\sum _{i=1}^m{\alpha }_i) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le \alpha \le C \end{gathered}$$
  这里涉及了$x^{\ast T}{x}^{\ast }$的运算，由于映射后的空间维度可能很高从而导致计算的代价极大，这里可以设计一个函数：
$$\kappa (x_i,x_j)=x_i^{\ast T}{x}_i^{\ast }$$
这个函数就叫做核函数。通过核函数，可以避免计算映射后的高维空间内积，这种方法叫做核技巧。于是对偶问题可以改写为：
$$\begin{gathered} \underset{\alpha }{\mathrm{argmin}}(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)-\sum _{i=1}^m{\alpha }_i) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le \alpha \le C \end{gathered}$$
  下面列举一些常用的核函数：

名称	表达式	参数
线性核	$\kappa (x_i,x_j)=x_i^T{x}_j$	无
多项式核	$\kappa (x_i,x_j)=(x_i^T{x}_j{)}^d$	d≥1为多项式的次数
高斯核（RBF核）	$\kappa (x_i,x_j)=\exp (-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})$	$\sigma >0$为高斯核的带宽
拉普拉斯核	$\kappa (x_i.x_j)=\exp (-\frac{\Vert x_i-x_j\Vert }{\sigma })$	$\sigma >0$
Sigmoid核	$\kappa (x_i,x_j)=\tanh (\beta x_i^T{x}_j+\theta )$	$\beta >0,\theta <0$

  除此之外，对于核函数${\kappa }_1,{\kappa }_2$，有以下结论：

• 核函数的线性组合也是核函数：${\kappa }_3=\alpha {\kappa }_1+\beta {\kappa }_2$；
• 核函数的直积也是核函数：${\kappa }_3(x,y)={\kappa }_1(x,y){\kappa }_2(x,y)$；
• 对于任意函数$g$，有：${\kappa }_3(x,y)=g(x){\kappa }_1(x,y)g(y)$。

四、SMO算法

  先给出带核函数的软间隔SVM待优化问题：
$$\begin{gathered} \underset{\alpha }{\mathrm{argmin}}(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)-\sum _{i=1}^m{\alpha }_i) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,0\le \alpha \le C \end{gathered}$$
KKT条件如下：
$$\{\begin{array}{l}\xi \ge 0\\ \alpha \ge 0,\mu \ge 0\\ {\alpha }_i+{\mu }_i=C\\ y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\sum }_{i=1}^m{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\\ {\sum }_{i=1}^m{\mu }_i{\xi }_i=0\end{array}$$
  下面对${\alpha }_i$进行讨论：

• ${\alpha }_i=0$：
  $$\begin{array}{rl}{\alpha }_i=0,{\alpha }_i+{\mu }_i=C\Rightarrow & {\mu }_i>0\\ {\mu }_i>0,\sum _{i=1}^m{\mu }_i{\xi }_i=0\Rightarrow & {\xi }_i=0\\ {\xi }_i=0,y_i(w^T{x}_i+b)\ge 1-{\xi }_i\Rightarrow & y_i(w^T{x}_i+b)\ge 1\end{array}$$
• ${\alpha }_i=C$：
  $$\begin{array}{rl}{\alpha }_i=C,{\alpha }_i+{\mu }_i=C\Rightarrow & {\mu }_i=0\\ {\mu }_i=0,\sum _{i=1}^m{\mu }_i{\xi }_i=0\Rightarrow & {\xi }_i\ge 0\\ {\alpha }_i=C,\sum _{i=1}^m{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\Rightarrow & y_i(w^T{x}_i+b)=1-{\xi }_i\\ {\xi }_i\ge 0,y_i(w^T{x}_i+b)=1-{\xi }_i\Rightarrow & y_i(w^T{x}_i+b)\le 1\end{array}$$
• $0<{\alpha }_i<C$：
  $$\begin{array}{rl}0<{\alpha }_i<C,{\alpha }_i+{\mu }_i=C\Rightarrow & 0<{\mu }_i<C\\ 0<{\mu }_i<C,\sum _{i=1}^m{\mu }_i{\xi }_i=0\Rightarrow & {\xi }_i=0\\ 0<{\alpha }_i<C,\sum _{i=1}^m{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\Rightarrow & y_i(w^T{x}_i+b)=1-{\xi }_i\\ {\xi }_i=0,y_i(w^T{x}_i+b)=1-{\xi }_i\Rightarrow & y_i(w^T{x}_i+b)=1\end{array}$$
  总结出新的KKT条件如下：
  $$\{\begin{array}{l}{y}_i(w^T{x}_i+b)\ge 1,{\alpha }_i=0\\ y_i(w^T{x}_i+b)=1,0<{\alpha }_i<C\\ y_i(w^T{x}_i+b)\le 1,{\alpha }_i>C\end{array}$$

4.1 参数选择

  SMO算法需要从$\alpha$序列中选择出合适的${\alpha }_i$和${\alpha }_j$进行迭代更新。由于只要有一个选中的$\alpha$不满足KKT条件，目标函数就会减小，所以可以从$\alpha$中选择出一个不满足KKT条件的作为${\alpha }_i$，然后再选择一个和${\alpha }_i$对应样本差距最大的$\alpha$作为${\alpha }_j$。这个所谓“差距”的衡量方法是计算$|y_i^{\ast }-y_i-(y_j^{\ast }-y_j)|$，原因通过后面的公式推导可以知道。

4.2 更新${\alpha }_i,{\alpha }_j$

  假设选择出的两个$\alpha$分别为${\alpha }_1,{\alpha }_2$，则原目标函数可以简化为：
$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\mathrm{argmin}}f({\alpha }_1,{\alpha }_2)=\frac{1}{2}{\alpha }_1^2{\kappa }_{11}+\frac{1}{2}{\alpha }_2^2{\kappa }_{22}+{\alpha }_1{\alpha }_2{y}_1{y}_2{\kappa }_{12}+{\alpha }_1{y}_1{u}_1+{\alpha }_2{y}_2{u}_2-{\alpha }_1-{\alpha }_2-u_3 \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=c \end{gathered}$$
其中，
$$u_1=\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{1i}{u}_2=\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{2i}{u}_3=\sum _{i=3}^m{\alpha }_{i}c=-\sum _{i=3}^m{\alpha }_i{y}_i$$
在${\alpha }_1{y}_1+{\alpha }_2{y}_2=c$两边乘$y_1$，可得：${\alpha }_1=y_{1}c-{\alpha }_2{y}_1{y}_2$，代入目标函数：
$$\begin{array}{rl}\underset{{\alpha }_2}{\mathrm{argmin}}f({\alpha }_2)=& \frac{1}{2}{\alpha }_1^2{\kappa }_{11}+\frac{1}{2}{\alpha }_2^2{\kappa }_{22}+{\alpha }_1{\alpha }_2{y}_1{y}_2{\kappa }_{12}+{\alpha }_1{y}_1{u}_1+{\alpha }_2{y}_2{u}_2-{\alpha }_1-{\alpha }_2-u_3\\ =& \frac{1}{2}{\kappa }_{11}{c}^2+\frac{1}{2}{\alpha }_2^2{\kappa }_{11}-{\alpha }_2{y}_2{\kappa }_{11}c+\frac{1}{2}{\alpha }_2^2{\kappa }_{22}+{\alpha }_2{y}_2{\kappa }_{12}c-{\alpha }_2^2{\kappa }_{12}+u_{1}c-{\alpha }_2{y}_2{u}_1\\ & +{\alpha }_2{y}_2{u}_2-y_{1}c+{\alpha }_2{y}_1{y}_2-{\alpha }_2-u_3\\ =& \frac{1}{2}({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^2+(y_2{\kappa }_{12}c-y_2{\kappa }_{11}c-y_2{u}_1+y_2{u}_2+y_1{y}_2-1){\alpha }_2+const\end{array}$$
将函数$f({\alpha }_2)$对${\alpha }_2$求导，
$$\frac{\partial f}{\partial {\alpha }_2}=({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2+y_2{\kappa }_{12}c-y_2{\kappa }_{11}c-y_2{u}_1+y_2{u}_2+y_1{y}_2-1$$
设更新后的$\alpha$为${\alpha }^{\ast }$，最终学得的SVM模型为$f(x)=w^{T}x+b={\sum }_{i=1}^m{\alpha }_i{y}_i\kappa (x_i,x)+b$，误差则为$E_i=f(x_i)-y_i$。同时，还有：
$$\begin{gathered} c={\alpha }_1{y}_1+{\alpha }_2{y}_2={\alpha }_1^{\ast }{y}_1+{\alpha }_2^{\ast }{y}_2 \\ {u}_1=\sum _{i=3}^m{\alpha }_i{y}_i\kappa (x_i,x_1)=f(x_1)-\sum _{i=1}^2{\alpha }_i{y}_i{\kappa }_{i1}-b \\ {u}_2=\sum _{i=3}^m{\alpha }_i{y}_i\kappa (x_i,x_2)=f(x_2)-\sum _{i=1}^2{\alpha }_i{y}_i{\kappa }_{i2}-b \end{gathered}$$
将$E_i,c,u_1,u_2$代入导数，同时令导数为0，可得：
$$\begin{array}{rl}({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^{\ast }=& 1-y_2{\kappa }_{12}c+y_2{\kappa }_{11}c+y_{2}f(x_1)-y_2\sum _{i=1}^2{\alpha }_i{y}_i{\kappa }_{i1}-y_{2}b-y_{2}f(x_2)+y_2\sum _{i=1}^2{\alpha }_i{y}_i{\kappa }_{i2}\\ & +y_{2}b-y_1{y}_2\\ \Rightarrow ({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^{\ast }=& ({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2+y_2(f(x_1)-y_1-(f(x_2)-y_2))\\ \Rightarrow ({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2^{\ast }=& ({\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}){\alpha }_2+y_2(E_1-E_2)\\ \Rightarrow {\alpha }_2^{\ast }=& {\alpha }_2+y_2\frac{E_1-E_2}{{\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}}\end{array}$$
记$\eta ={\kappa }_{11}+{\kappa }_{22}-2{\kappa }_{12}$，则有如下更新公式：
$${\alpha }_2^{\ast }={\alpha }_2+y_2\frac{E_1-E_2}{\eta }$$
从这个更新公式不难看出，之所以第二个参数要选择使$|E_1-E_2|$最大的，是为了让参数更新得更快。
  此时计算的参数没有考虑约束，下面讨论参数的范围：

• $y_1=y_2$：则有${\alpha }_1+{\alpha }_2={\alpha }_1^{\ast }+{\alpha }_2^{\ast }=c$，进一步讨论：
  • $if:{\alpha }_1^{\ast }=0\Rightarrow {\alpha }_{2max}^{\ast }=\min (C,{\alpha }_1+{\alpha }_2)$
  • $if:{\alpha }_1^{\ast }=C\Rightarrow {\alpha }_{2min}^{\ast }=\max (0,{\alpha }_1+{\alpha }_2-C)$
• $y_1\ne y_2$：则有${\alpha }_1-{\alpha }_2={\alpha }_1^{\ast }-{\alpha }_2^{\ast }=c$，进一步讨论：
  • $if:{\alpha }_1^{\ast }=0\Rightarrow {\alpha }_{2min}^{\ast }=\max (0,{\alpha }_2-{\alpha }_1)$
  • $if:{\alpha }_1^{\ast }=C\Rightarrow {\alpha }_{2max}^{\ast }=\min (C,C+{\alpha }_2-{\alpha }_1)$

上面便是${\alpha }_2^{\ast }$的参数范围，进行修正后通过下述公式便可以计算出${\alpha }_1^{\ast }$：
$${\alpha }_1^{\ast }=\frac{{\alpha }_1{y}_1+{\alpha }_2{y}_2-{\alpha }_2^{\ast }{y}_2}{y_1}$$

4.3 计算$w,b$

  $w$的计算很简单，由于之间已经推导出公式：$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$直接计算即可。

  $b$的计算通过KKT条件：$$y_i(w^T{x}_i+b)=1\Rightarrow w^T{x}_i+b=y_i\Rightarrow b=y_i-w^T{x}_i$$可以计算得到。此KKT条件要求$0<{\alpha }_i<C$，所以$b$的取值一般为：
$$b^{\ast }=\{\begin{array}{l}{b}_1^{\ast },0<{\alpha }_1<C\\ b_2^{\ast },0<{\alpha }_2<C\\ (b_1^{\ast }+b_2^{\ast })/2,others\end{array}$$