假设两条平行直线分别是
(1)
W
x
+
A
=
0
,
Wx+A=0,\tag{1}
Wx+A=0,(1)
与
(2)
W
x
+
B
=
0.
Wx+B=0.\tag{2}
Wx+B=0.(2)
那么和这两条直线平行,且位于中间的那条直线就可以表示成:
(3)
W
x
+
A
+
B
−
A
2
=
0.
Wx + A + \frac{B-A}{2} = 0. \tag{3}
Wx+A+2B−A=0.(3)
令 t = B − A t=B-A t=B−A,则有 B = t + A B=t+A B=t+A。
将
t
=
B
−
A
t=B-A
t=B−A 代入(3),得到
(4)
W
x
+
A
+
t
2
=
0.
Wx+A+\frac{t}{2}=0.\tag{4}
Wx+A+2t=0.(4)
将 B = t + A B=t+A B=t+A 代入(2),得到
(5) W x + t + A = 0. Wx+t+A=0.\tag{5} Wx+t+A=0.(5)
整理一下,这三条直线现在可以写成
(6)
W
x
+
A
=
0
,
Wx+A=0,\tag{6}
Wx+A=0,(6)
(7)
W
x
+
t
+
A
=
0
,
Wx+t+A=0,\tag{7}
Wx+t+A=0,(7)
(8)
W
x
+
A
+
t
2
=
0.
Wx+A+\frac{t}{2}=0.\tag{8}
Wx+A+2t=0.(8)
下面给等式(6)左右都加上
t
2
\frac{t}{2}
2t,给等式(7)左右都减去
t
2
\frac{t}{2}
2t,得到
(9)
W
x
+
A
+
t
2
=
t
2
,
Wx+A+\frac{t}{2}=\frac{t}{2},\tag{9}
Wx+A+2t=2t,(9)
与
(10)
W
x
+
A
+
t
2
=
−
t
2
.
Wx+A+\frac{t}{2}=-\frac{t}{2}.\tag{10}
Wx+A+2t=−2t.(10)
接下来将等式(8)、(9)、(10)的两边都乘以
2
t
\frac{2}{t}
t2,得
(11)
2
t
W
x
+
2
t
(
A
+
t
2
)
=
0
,
\frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=0,\tag{11}
t2Wx+t2(A+2t)=0,(11)
(12)
2
t
W
x
+
2
t
(
A
+
t
2
)
=
1
,
\frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=1,\tag{12}
t2Wx+t2(A+2t)=1,(12)
(13)
2
t
W
x
+
2
t
(
A
+
t
2
)
=
−
1.
\frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=-1.\tag{13}
t2Wx+t2(A+2t)=−1.(13)
令
w
=
2
t
W
w=\frac{2}{t}W
w=t2W,
b
=
2
t
(
A
+
t
2
)
b=\frac{2}{t}(A+\frac{t}{2})
b=t2(A+2t),则等式(11)、等式(12)、等式(13)又可以写成:
(14)
w
x
+
b
=
0
,
wx+b=0,\tag{14}
wx+b=0,(14)
(15)
w
x
+
b
=
1
,
wx+b=1,\tag{15}
wx+b=1,(15)
(16)
w
x
+
b
=
−
1.
wx+b=-1.\tag{16}
wx+b=−1.(16)
化简成这样的主要原因是,间隔(margin)的表达式最简单。
可以假设向量
x
1
x_1
x1 在
w
x
+
b
=
1
wx+b=1
wx+b=1 上,向量
x
2
x_2
x2 在
w
x
+
b
=
−
1
wx+b=-1
wx+b=−1 上,间隔(margin)的表达式为
(17)
m
a
r
g
i
n
=
d
=
∣
x
1
−
x
2
∣
⋅
cos
θ
.
margin = d = |x_1-x_2|\cdot \cos \theta.\tag{17}
margin=d=∣x1−x2∣⋅cosθ.(17)
其中
θ
\theta
θ 是
向
量
x
1
−
x
2
向量 x_1-x_2
向量x1−x2 与平行直线的法向量
w
w
w 的夹角。
为了利用向量的工具,我们可以在等式(17)两边都乘以 ∣ w ∣ |w| ∣w∣,则有
(18)
d
⋅
∣
w
∣
=
∣
x
1
−
x
2
∣
⋅
∣
w
∣
⋅
cos
θ
=
∣
w
(
x
1
−
x
2
)
∣
.
d\cdot |w| = |x_1-x_2| \cdot |w| \cdot \cos \theta = |w(x1-x2)| .\tag{18}
d⋅∣w∣=∣x1−x2∣⋅∣w∣⋅cosθ=∣w(x1−x2)∣.(18)
又因为向量
x
1
x_1
x1 在
w
x
+
b
=
1
wx+b=1
wx+b=1 上,向量
x
2
x_2
x2 在
w
x
+
b
=
−
1
wx+b=-1
wx+b=−1 上,则
w
x
1
+
b
=
1
,
wx_1+b=1,
wx1+b=1,
w
x
2
+
b
=
−
1.
wx_2+b=-1.
wx2+b=−1.
所以
∣
w
(
x
1
−
x
2
)
∣
=
∣
w
x
1
−
w
x
2
∣
=
∣
1
−
b
−
(
−
1
−
b
)
∣
=
2
=
d
⋅
∣
w
∣
.
|w(x1-x2)|=|wx_1-wx_2|=|1-b-(-1-b)|=2=d\cdot |w|.
∣w(x1−x2)∣=∣wx1−wx2∣=∣1−b−(−1−b)∣=2=d⋅∣w∣.
所以
d
=
2
∣
w
∣
.
d = \frac{2}{|w|}.
d=∣w∣2.