《统计学习方法》“支持向量机”一章中说可以取函数间隔等于 1 是为什么?

假设两条平行直线分别是

(1) W x + A = 0 , Wx+A=0,\tag{1} Wx+A=0,(1)

(2) W x + B = 0. Wx+B=0.\tag{2} Wx+B=0.(2)

那么和这两条直线平行,且位于中间的那条直线就可以表示成:
(3) W x + A + B − A 2 = 0. Wx + A + \frac{B-A}{2} = 0. \tag{3} Wx+A+2BA=0.(3)

t = B − A t=B-A t=BA,则有 B = t + A B=t+A B=t+A

t = B − A t=B-A t=BA 代入(3),得到
(4) W x + A + t 2 = 0. Wx+A+\frac{t}{2}=0.\tag{4} Wx+A+2t=0.(4)

B = t + A B=t+A B=t+A 代入(2),得到

(5) W x + t + A = 0. Wx+t+A=0.\tag{5} Wx+t+A=0.(5)

整理一下,这三条直线现在可以写成
(6) W x + A = 0 , Wx+A=0,\tag{6} Wx+A=0,(6)
(7) W x + t + A = 0 , Wx+t+A=0,\tag{7} Wx+t+A=0,(7)
(8) W x + A + t 2 = 0. Wx+A+\frac{t}{2}=0.\tag{8} Wx+A+2t=0.(8)
下面给等式(6)左右都加上 t 2 \frac{t}{2} 2t,给等式(7)左右都减去 t 2 \frac{t}{2} 2t,得到
(9) W x + A + t 2 = t 2 , Wx+A+\frac{t}{2}=\frac{t}{2},\tag{9} Wx+A+2t=2t,(9)

(10) W x + A + t 2 = − t 2 . Wx+A+\frac{t}{2}=-\frac{t}{2}.\tag{10} Wx+A+2t=2t.(10)
接下来将等式(8)、(9)、(10)的两边都乘以 2 t \frac{2}{t} t2,得
(11) 2 t W x + 2 t ( A + t 2 ) = 0 , \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=0,\tag{11} t2Wx+t2(A+2t)=0,(11)
(12) 2 t W x + 2 t ( A + t 2 ) = 1 , \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=1,\tag{12} t2Wx+t2(A+2t)=1,(12)
(13) 2 t W x + 2 t ( A + t 2 ) = − 1. \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=-1.\tag{13} t2Wx+t2(A+2t)=1.(13)
w = 2 t W w=\frac{2}{t}W w=t2W b = 2 t ( A + t 2 ) b=\frac{2}{t}(A+\frac{t}{2}) b=t2(A+2t),则等式(11)、等式(12)、等式(13)又可以写成:
(14) w x + b = 0 , wx+b=0,\tag{14} wx+b=0,(14)
(15) w x + b = 1 , wx+b=1,\tag{15} wx+b=1,(15)
(16) w x + b = − 1. wx+b=-1.\tag{16} wx+b=1.(16)
化简成这样的主要原因是,间隔(margin)的表达式最简单。
可以假设向量 x 1 x_1 x1 w x + b = 1 wx+b=1 wx+b=1 上,向量 x 2 x_2 x2 w x + b = − 1 wx+b=-1 wx+b=1 上,间隔(margin)的表达式为
(17) m a r g i n = d = ∣ x 1 − x 2 ∣ ⋅ cos ⁡ θ . margin = d = |x_1-x_2|\cdot \cos \theta.\tag{17} margin=d=x1x2cosθ.(17)
其中 θ \theta θ 向 量 x 1 − x 2 向量 x_1-x_2 x1x2 与平行直线的法向量 w w w 的夹角。

为了利用向量的工具,我们可以在等式(17)两边都乘以 ∣ w ∣ |w| w,则有

(18) d ⋅ ∣ w ∣ = ∣ x 1 − x 2 ∣ ⋅ ∣ w ∣ ⋅ cos ⁡ θ = ∣ w ( x 1 − x 2 ) ∣ . d\cdot |w| = |x_1-x_2| \cdot |w| \cdot \cos \theta = |w(x1-x2)| .\tag{18} dw=x1x2wcosθ=w(x1x2).(18)
又因为向量 x 1 x_1 x1 w x + b = 1 wx+b=1 wx+b=1 上,向量 x 2 x_2 x2 w x + b = − 1 wx+b=-1 wx+b=1 上,则
w x 1 + b = 1 , wx_1+b=1, wx1+b=1,

w x 2 + b = − 1. wx_2+b=-1. wx2+b=1.
所以
∣ w ( x 1 − x 2 ) ∣ = ∣ w x 1 − w x 2 ∣ = ∣ 1 − b − ( − 1 − b ) ∣ = 2 = d ⋅ ∣ w ∣ . |w(x1-x2)|=|wx_1-wx_2|=|1-b-(-1-b)|=2=d\cdot |w|. w(x1x2)=wx1wx2=1b(1b)=2=dw.
所以
d = 2 ∣ w ∣ . d = \frac{2}{|w|}. d=w2.

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值