西瓜书 6. 支持向量积

数学基础

1. 间隔与支持向量

• 给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ { − 1 , + 1 } D= \{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\},y_i\in \{- 1,+1\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{−1,+1}
• 找到一个划分超平面 $w^{T}x+b=0$ 满足以下 3 个条件：第1个是能正确划分正负样本，第2个是要位于正负样本正中间，第3个是离正负样本都尽可能远
  • $w=(w_1;w_2;...;w_d)$ 为法向量，决定了超平面的方向
  • $b$ 为位移项，决定了超平面与原点之间的距离
  • 样本空间中任意点 $x$ 到超平面 $(w,b)$ 的距离：$r=\frac{|w^{T}x+b|}{||w||}$
• 由条件 1：超平面能将训练样本正确分类，则有：
  $对于(x_i,y_i)\in D,\{\begin{array}{ll}& w^T{x}_i+b>0\text{ , }{y}_i=+1\\ & w^T{x}_i+b<0\text{ , }{y}_i=-1\end{array}$
• 由条件 2：设正样本点$x_{\ast }^{+}$和负样本点$x_{\ast }^{-}$到超平面的距离最近，则两者相等，即：$\frac{|w^T{x}_{\ast }^{+}+b|}{||w||}=\frac{|w^T{x}_{\ast }^{-}+b|}{||w||}$
  有：$\{\begin{array}{ll}& \frac{|w^{T}x+b|}{||w||}\ge \frac{|w^T{x}_{\ast }^{+}+b|}{||w||}\text{ , }{y}_i=+1\\ & \frac{|w^{T}x+b|}{||w||}\ge \frac{|w^T{x}_{\ast }^{-}+b|}{||w||}\text{ , }{y}_i=-1\end{array}$；
  去绝对值后伸缩系数得：$\{\begin{array}{ll}& w^T{x}_i+b\ge +1\text{ , }{y}_i=+1\\ & w^T{x}_i+b\le -1\text{ , }{y}_i=-1\end{array}$
  此时 $w^T{x}_{\ast }^{+}+b=1,w^T{x}_{\ast }^{-}+b=-1$
  • 支持向量：称 $x_{\ast }^{+},x_{\ast }^{-}$ 为支持向量，两点到超平面的距离均为 $\frac{1}{||w||}$，
  • 间隔：两个异类支持向量到超平面的距离之和为 $\gamma =\frac{2}{||w||}$
• 由条件 3：通过“最大化间隔”来保证超平面离正负样本都尽可能远，即：
  $$
  

习题