边际误差计算
在本选修部分,我们将会计算 SVM 中两个间隔之间的距离。
首先,W = (w_1, w_2)W=(w
1
,w
2
) ,x = (x_1,x_2)x=(x
1
,x
2
),并且 Wx = w_1x_1 + w_2x_2Wx=w
1
x
1
+w
2
x
2
.
请注意,在这里我们有三条线,方程如下:
Wx+b=1Wx+b=1
Wx+b=0Wx+b=0
Wx+b=-1Wx+b=−1
由于这三条线为等距平行线,要想确定第一条线和第三条线之间的距离,我们只需要计算前两条线之间的距离,接着将这个数字乘以二。这也就是说我们需要确定图 1 中前两条线之间的距离。
图 1
请注意,由于我们只需计算线条之间的距离,因此也可以将线条平移,直到其中一条线与原点相交(图 2)。这时得到的方程如下:
Wx=0Wx=0
Wx=1Wx=1
图 2
现在,第一条线的方程为 Wx=0Wx=0,这意味着它与标记为红色的向量(图 3) W = (w_1, w_2)W=(w
1
,w
2
) 垂直。
图 3
该向量与方程为 Wx=1Wx=1 的线条相交于蓝点(图 4)。假设该点的坐标为 (p,q)(p,q)。那么我们可以得到下面两个结果:
w_1p + w_2q = 1w
1
p+w
2
q=1 (由于该点位于这条线上),并且
由于该点位于向量 W = (w_1, w_2)W=(w
1
,w
2
) 上,(p,q)(p,q) 是 (w_1, w_2)(w
1
,w
2
) 的倍数。
我们可以这样求解这个方程:对于某个 k 值而言,有 (p,q) = k(w_1, w_2)(p,q)=k(w
1
,w
2
)。那么我们的第一个方程将被转换为 k(w_1^2 + w_2^2) = 1.k(w
1
2
+w
2
2
)=1.。因此,k = \frac{1}{w_12+w_22} = \frac{1}{|W|^2}k=
w
1
2
+w
2
2
1
=
∣W∣
2
1
。这也就是说,蓝点表示向量 \frac{W}{|W|^2}
∣W∣
2
W
,如图 4 所示。
图 4
现在,两条线之间的距离是蓝色向量的范数。由于分母是一个标量,向量 \frac{W}{|W|^2}
∣W∣
2
W
的范数正是 \frac{|W|}{|W|^2}
∣W∣
2
∣W∣
,与 \frac{1}{|W|}
∣W∣
1
(图 5)相同。
图 5
最后,最终距离是这连续两条平行线(图 6)之间的距离之和。由于每两条线之间的距离为 \frac{1}{|W|}
∣W∣
1
,那么总距离为 \frac{2}{|W|}
∣W∣
2
。
图 6