支持向量机

1. 线性可分支持向量机

1.1 训练集: $T = \{(x_1, y_1), (x_2, y_2), ..., (x_N, y_n=N)\}, x_i \in R^n, y_i \in \{-1, 1\}$

1.2 如果存在$R^n$中的超平面能将$T$中的正例点和负例点分开, 我们就说$T$是线性可分的, 或者说T是线性可分训练集

1.3 给定线性可分训练集$T$, 通过间隔最大化策略或求解等价的凸二次优化问题得到的分离超平面

$$w \cdot x+b=0$$ 以及相应的决策函数

$$f(x)={sign}(w \cdot x+b)$$ 被称为 线性可分支持向量机, 其中 $$x,w \in R^n, b \in R$$

1.4 设$(w, b)$是$T$上的分离超平面, 定义$T$到分离超平面的距离为$T$中距离分离超平面最近的点到$(w, b)$的距离, 称为$(w, b)$关于$T$的几何间隔, 记为$\gamma$. 由定义可知, 必有

$$\gamma = \frac{|w \cdot x_i + b|}{|w|} = \frac{y_i(w \cdot x_i + b)}{|w|}$$ , 并且满足上述等式的点至少有一对 $x_i, x_j$且 $y_i * y_j = -1$.

1.5 所谓的间隔最大化策略就是寻找$(w, b)$使$\gamma$达到最大, 为此可表述为一个最优化问题:

$$\max\limits_{w, b}\ \ \gamma\\s.t. \frac{y_i(w \cdot x_i + b)}{|w|} \ge \gamma, i = 1, 2, ..., N$$

评论: 遗憾的是, 这个问题并不是一个凸优化问题, 为了使用凸优化的理论, 我们需要把(1.5)转化成凸优化问题.

1.6现在设

$$\hat{\gamma} = |w|\gamma$$ 原问题转化为: $$\max\limits_{w, b}\ \ \frac{\hat{\gamma}}{|w|}\\s.t.\ \ y_i(w \cdot x_i + b) \ge \hat{\gamma}, i = 1, 2, ..., N$$ 注意到 $\hat{\gamma}$的取值不会影响原问题的解(生成的分离超平面是一样的), 因此我们取 $$\hat{\gamma}=1$$ 于是问题变为:

maxw,b    1|w|s.t.    y