【白板推导系列笔记】支持向量机-硬间隔SVM-模型求解-引出对偶问题&引出KKT条件

$$\{\begin{array}{rl}& \underset{\omega ,b}{\min }\frac{1}{2}{\omega }^T\omega \\ & s.t.y_i({\omega }^T{x}_i+b)\ge 1\iff 1-y_i({\omega }^T{x}_i+b)\le 0,\underset{N个约束}{\underbrace{i=1,2,\cdots ,N}}\end{array}$$
构建拉格朗日函数
$$L(\omega ,b,\lambda )=\frac{1}{2}{\omega }^T\omega +\sum _{i=1}^N{\lambda }_i[1-y_i({\omega }^T{x}_i+b)]$$
注意这里$L$括号里面的$\lambda$为$N\times 1$，等号右边的${\lambda }_i$为$1\times 1$

拉格朗日乘子法具体后面文章会解释

例如本题，如果$1-y_i({\omega }^T{x}_i+b)>0$，
$$\underset{\lambda }{\max }L(\lambda ,\omega ,b)=\frac{1}{2}{\omega }^T\omega +\infty =\infty$$
如果$1-y_i({\omega }^T{x}_i+b)\le 0$
$$\underset{\lambda }{\max }L(\lambda ,\omega ,b)=\frac{1}{2}{\omega }^T\omega +0=\frac{1}{2}{\omega }^T\omega$$
因此有
$$\underset{\omega ,b}{\min }\underset{\lambda }{\max }L(\lambda ,\omega ,b)=\underset{\omega ,b}{\min }(\infty ,\frac{1}{2}{\omega }^T\omega )=\underset{\omega ,b}{\min }\frac{1}{2}{\omega }^T\omega$$
因此该问题的无约束形式为
$$\underset{\omega ,b}{\min }\underset{\lambda }{\max }$$