吴恩达老师机器学习记录----SVM第二步：拉格朗日乘子法Lagrange Multiplier

Primal Problem : 

$$\min_{w} f(w)$$

$$st. g_i(w) \leq 0，i=1,...,l$$

$$ h_i(w) = 0，i=1,...,k$$

定义拉格朗日乘子 : 

$$L(w,\alpha,\beta) = f(w) + \sum_{i=1}^{l}\alpha_ig_i(w) + \sum_{i=1}^{k}\beta_ih_i(w)$$

做第一次变形（等价变形）：

$$\min_{w} \max_{\alpha,\beta;\alpha \ge 0} L(w,\alpha,\beta) = \min_{w} \max_{\alpha_i,\beta_i;\alpha_i \ge 0}[f(w) + \sum_{i=1}^{l} \alpha_i g_i(w) + \sum_{i=1}^k \beta_i h_i(w)]$$

做第二次变形，即变为原来的对偶问题（原问题与本次的变形后的问题在一定条件下等价）：

$$\max_{\alpha,\beta;\alpha \ge 0} \min_{w} L(w, \alpha, \beta) = \max_{\alpha_i,\beta_i;\alpha_i \ge 0} \min_w [f(w) + \sum_{i=1}^l \alpha_i g_i(w) + \sum_{i=1}^k \beta_i h_i(w)]$$