神经网络章节感知机部分 空间中任意一点到线性分割超平面的距离公式 解释说明

公式 8-3 的内容如下：
$$\frac{1}{||w||}|w\cdot x_0+b|$$

公式 8-3 的详细解释：

这个公式表示某个点 $x_0$ 到一个超平面的距离，其中：

• $w$ 是感知机的权重向量。
• $b$ 是感知机的偏置项（或阈值）。
• $x_0$ 是你要计算到超平面距离的点。
• $||w||$ 表示权重向量 $w$ 的 L2 范数，即 $w$ 的长度（欧几里得长度）。
• $w\cdot x_0$ 表示向量 $w$ 和点 $x_0$ 的点积。

公式的形式是通过点积 $w\cdot x_0+b$ 表示 $x_0$ 点相对于超平面的位置，然后通过除以权重向量 $w$ 的 L2 范数来标准化，这样得到的就是该点到超平面的垂直距离。

解释步骤：

1. $w\cdot x_0+b$：

   • 这个表达式表示 $x_0$ 代入超平面方程 $w\cdot x+b=0$ 后的值。它可以看作 $x_0$ 点相对于超平面的“签名距离”（带正负符号的距离）。如果结果为正，则点 $x_0$ 在超平面的一侧；如果为负，则在另一侧；如果为零，则点 $x_0$ 刚好位于超平面上。

2. $||w||$：

   • $||w||$ 是权重向量 $w$ 的 L2 范数，即权重向量的欧几里得长度。它用于将点积结果进行标准化，使得我们得到的距离是点到超平面的垂直距离，而不是简单的点积结果。

3. $\frac{1}{||w||}$：

   • 通过将点积结果除以 $||w||$，我们消除了方向的影响，得到的是点 $x_0$ 到超平面的最短距离，而不是简单的欧几里得距离。这确保了无论 $w$ 向量的大小如何，计算出的距离都能正确反映点到超平面的真实距离。

4. $|w\cdot x_0+b|$：

   • 绝对值符号消除了结果的正负号，使我们关心的只是距离的大小，而不是点位于超平面的哪一侧。

几何解释：

超平面可以看作是 n 维空间中的一个 $(n-1)$ 维的分隔线或分隔面。公式 8-3 表示从点 $x_0$ 垂直到超平面的距离。这个公式给出的距离是经过标准化的，因此它独立于权重 $w$ 的规模。

总结：

公式 8-3 给出了任意输入点 $x_0$ 到由权重向量 $w$ 和偏置 $b$ 所定义的超平面的垂直距离。这在感知机学习中很重要，因为我们希望通过调整权重和偏置，将误分类样本的距离缩短，从而将它们正确分类到超平面的一侧。