机器学习笔记 - 线性分割对偶问题

划分超平面的模型如下:

$$f(x) = w^T + b$$
其中 $w$和$b$是模型参数.
确定模型参数的优化目标为:
$$min_{w,b} \frac{1}{2}||w||^2, s.t. y_i(w^Tx_i+b)\ge1, i=1, 2, ... , m$$
使用拉格朗日乘子法可得其对偶问题
$$L(w, b, a) = \frac{1}{2}||w||^2 + \sum_{i=1}^ma_i(1-y_i(w^Tx_i+b))$$
其中, $a = (a_1, a_2, ... , a_m)$
令 $L(w, b, a)$对 $w, b$求偏导可得
$$w = \sum_{i=1}^ma_iy_ix_i$$
$$0 = \sum_{i=1}^ma_iy_i$$
于是, 对偶问题为
$$max_a \sum_{i=1}^ma_i - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^ma_ia_jy_iy_jx_i^Tx_j, s.t. \sum_{i=1}^ma_iy_i = 0, a_i>=0, i = 1, 2, ..., m$$
解出 $a$后, 可以求得
$$f(x) = w^Tx + b = \sum_{i=1}^ma_iy_ix_i^Tx+b$$
上式还需满足KKT条件:　
$$a_i\ge0, y_if(x_i)-1\ge0, a_i(y_if(x_i)-1) = 0$$
求解此问题的算法，　著名的有SMO(Sequential Minimal Optimization).
Sample Code: https://github.com/volvet/MLInAction/tree/master/SVM

Reference

1. 机器学习 - 周志华　　清华大学出版社
2. Machine Learning in Action - Peter Harrington