对偶问题在SVM中的应用

理解支持向量机SVM过程遇到的对偶问题

最近在看周志华的西瓜书学习machine learning，看到支持向量机这一章的时候对其中的对偶问题部分真是百思不得其解，在查阅了一些资料后终于明白了其中的原理。
我先简述一下问题背景
在西瓜书中划分超平面所对应的基本问题为求解以下的非线性约束问题
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}^i+b)\ge 1,i=1,2,...m\text{\hspace{1em}(1.1)} \end{gathered}$$
则该问题的拉格朗日函数可以写为
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y^i(w^T{x}_i+b))\text{\hspace{1em}(1.2)}$$
令$1.2$对$w$和$b$的偏导为零可得
$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(1.3)}$$$$0=\sum _{i=1}^m{\alpha }_i{y}_i\text{\hspace{1em}(1.4)}$$
将$1.3和1.4$代入1.2可得到式$1.1$的对偶问题
$$ma{x}_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\text{\hspace{1em}(1.5)}$$
那么这个$1.5$是究竟是怎么来的呢？
首先我们假设$$f(w)=\frac{1}{2}||w|{|}^2$$
$$g_i(w,b)=1-y_i(w^T{x}^i+b),i=1,2..m$$
问题变成
$$\begin{gathered} mi{n}_{w,b}f(w) \\ s.t.g_i(w,b)\le =0\text{\hspace{1em}(2.1)} \end{gathered}$$
其拉格朗日方程变为
$$L(w,b,\alpha )=f(w)+\sum _{i=1}^m{\alpha }_i{g}_i(w,b)\text{\hspace{1em}(2.2)}$$
接下来我们正式推导公式$1.5$
首先确立方程组
$$\{\begin{array}{l}f(w)<v\\ g_i(w,b)\le 0\end{array}\text{\hspace{1em}(方程组1)}$$
让我们仔细思考一下，如果方程组1无解，则$v$比我们要找的$f(x)$的最小值还要小，也就是说v是问题的一个下界，问题转化为当方程组1无解时，找到$v_{max}$。
我们首先考虑方程组1有解的情况
$$方程组1有解\to \forall {\alpha }_i>0,L(w,b,\alpha )=f(w)+\sum _{i=1}^m{\alpha }_i{g}_i(w,b)<v有解$$
根据逆否命题真值相同
$$\exists {\alpha }_i>0,L(w,b,\alpha )=f(w)+\sum _{i=1}^m{\alpha }_i{g}_i(w,b)<v无解\to 方程组1无解$$
要使$\exists {\alpha }_i>0,L(w,b,\alpha )<v无解$，
要满足$$L(w,b,\alpha {)}_{min}\ge v$$
所以$$v_{max}=ma{x}_{{\alpha }_i>0}{L}_{min}(w,b,\alpha )=ma{x}_{\alpha }\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\text{\hspace{1em}(1.5)}$$

得出最后结果，求解过程有点绕，大家可以画一下逻辑图来求解。