边际误差计算

边际误差计算

在本部分，我们将会计算 SVM 中两个间隔之间的距离。

首先，W = (w_1, w_2)W=(w1​,w2​) ，x = (x_1,x_2)x=(x1​,x2​)，并且 Wx = w_1x_1 + w_2x_2Wx=w1​x1​+w2​x2​.

请注意，在这里我们有三条线，方程如下：

• Wx+b=1Wx+b=1
• Wx+b=0Wx+b=0
• Wx+b=-1Wx+b=−1

由于这三条线为等距平行线，要想确定第一条线和第三条线之间的距离，我们只需要计算前两条线之间的距离，接着将这个数字乘以二。这也就是说我们需要确定图 1 中前两条线之间的距离。

 

图 1

请注意，由于我们只需计算线条之间的距离，因此也可以将线条平移，直到其中一条线与原点相交（图 2）。这时得到的方程如下：

• Wx=0Wx=0
• Wx=1Wx=1

 

图 2

现在，第一条线的方程为 Wx=0Wx=0，这意味着它与标记为红色的向量（图 3） W = (w_1, w_2)W=(w1​,w2​) 垂直。

 

图 3

该向量与方程为 Wx=1Wx=1 的线条相交于蓝点（图 4）。假设该点的坐标为 (p,q)(p,q)。那么我们可以得到下面两个结果：

• w_1p + w_2q = 1w1​p+w2​q=1 （由于该点位于这条线上），并且
• 由于该点位于向量 W = (w_1, w_2)W=(w1​,w2​) 上，(p,q)(p,q) 是 (w_1, w_2)(w1​,w2​) 的倍数。

我们可以这样求解这个方程：对于某个 k 值而言，有 (p,q) = k(w_1, w_2)(p,q)=k(w1​,w2​)。那么我们的第一个方程将被转换为 k(w_1^2 + w_2^2) = 1.k(w12​+w22​)=1.。因此，k = \frac{1}{w_1^2+w_2^2} = \frac{1}{|W|^2}k=w12​+w22​1​=∣W∣21​。这也就是说，蓝点表示向量 \frac{W}{|W|^2}∣W∣2W​，如图 4 所示。

 

图 4

现在，两条线之间的距离是蓝色向量的范数。由于分母是一个标量，向量 \frac{W}{|W|^2}∣W∣2W​ 的范数正是 \frac{|W|}{|W|^2}∣W∣2∣W∣​，与 \frac{1}{|W|}∣W∣1​（图 5）相同。

 

图 5

最后，最终距离是这连续两条平行线（图 6）之间的距离之和。由于每两条线之间的距离为 \frac{1}{|W|}∣W∣1​，那么总距离为 \frac{2}{|W|}∣W∣2​。

 

 

 

图 6