林轩田机器学习技法课程笔记二 对偶支持向量机

Lecture 2: Dual Support Vector Machine

---

在正规化regularization中，拉格朗日乘数作为一个给定的参数。在对偶SVM中，拉格朗日乘数未知。

Lagrange dual problem: 算式中min和max做了一个交换。

QP在满足如下三个条件时就可以推出强对偶（等于关系），弱对偶是大于等于关系。

i)convex primal

原问题是凸的。

ii)feasible primal(separable)

原问题可解，也就是数据可分。

iii)linear constraints

限制条件是线性的。

 

在化简的过程中，b消失了，稍后会教怎么用w算出b：用complementary slackness（Harry Potter and Voldermort至少有一个死掉）

KKT最优化条件（KKT是三个研究者名字的缩写）如下：

if primal-dual optimal (b, w, α),

• primal feasible: yn (wT zn + b) ≥ 1

• dual feasible: αn ≥ 0

• dual-inner optimal:Σyn αn = 0; w =Σαn yn zn

• primal-inner optimal (at optimal all ‘Lagrange terms’ disappear):

αn (1 − yn (w T zn + b)) = 0 (complementary slackness)

—called Karush-Kuhn-Tucker (KKT) conditions, necessary for optimality [& sufficient here]

QP solver: bound(an)可以直接用函数（上限和下限）

SV (positive αn ) ⊆ SV candidates (on boundary)

w = linear combination of ynzn

• also true for GD/SGD-based LogReg/LinReg when w0 = 0

w是由数据来表示的。SVM是一种特殊的表示形式，只由支持向量来代表。

PLA算法是用犯错误的点来表示w，SVM是用边界的点来表示w。

Primal Hard-Margin SVM:

physical meaning: locate specially-scaled (b,w)

Dual Hard-Margin SVM:

physical meaning: locate SVs (zn , yn ) & their αn

dual SVM: another QP with valuable geometric messages and almost no dependence on d̃