[机器学习] 支持向量机2——对偶问题

支持向量机1——间隔和支持向量

支持向量机2——对偶问题

支持向量机3——引入松弛因子

支持向量机4——SMO算法

支持向量机2

在上一篇中，我们由于要最大化间隔故推导出最终要处理的公式为
$$\begin{gathered} mi{n}_{\omega ,b}\frac{1}{2}||\omega |{|}^2 \\ {y}_i({\omega }^T{x}_i+b)>=1,i=1,2,3...m.\text{\hspace{1em}(2.1)} \end{gathered}$$

下面我们的目的就是求解$\omega ,b$使得上式子成立。

对偶问题

为什么要使用对偶问题来求解$\omega ,b$？

1. 不等式的约束一直是优化里的难题，求解对偶问题可以将原来的不等式约束问题变成等式约束。
2. 支持向量机用到了高维映射，但是映射函数的具体形式几乎完全不确定，而求解对偶问题之后，可以用核函数来处理这个问题。

原始问题是：
$$\begin{gathered} mi{n}_{\omega ,b}\frac{1}{2}||\omega |{|}^2 \\ {y}_i({\omega }^T{x}_i+b)>=1,i=1,2,3...m.\text{\hspace{1em}(2.1)} \end{gathered}$$

则该问题的拉格朗日函数：
$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T{x}_i+b))\text{\hspace{1em}(2.2)}$$

可以让原始问题等价于：
$$SVM\equiv \underset{b,\omega }{\min }(\underset{all\alpha \ge 0}{\max }L(\omega ,b,\alpha )$$