神经网络章节感知机部分 误分类点到线性分割超平面的距离公式 解释说明

公式 8-4 的内容如下：
$$S=-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$

公式 8-4 的详细解释：

该公式描述了在感知机算法中，误分类样本到超平面的距离，其中：

• $w$ 是权重向量。
• $b$ 是偏置项。
• $x_i$ 是误分类的样本点。
• $y_i$ 是样本点 $x_i$ 的标签，取值为 $+1$ 或 $-1$。
• $||w||$ 是权重向量 $w$ 的欧几里得长度（L2 范数）。
• $w\cdot x_i+b$ 是点 $x_i$ 相对于超平面的距离（未标准化的带符号距离）。

解释步骤：

1. $y_i(w\cdot x_i+b)$：

   • 这个部分代表样本 $x_i$ 的带符号的距离，它根据标签 $y_i$ 来调整符号。
   • 如果样本 $x_i$ 被正确分类，那么 $y_i(w\cdot x_i+b)>0$，否则 $y_i(w\cdot x_i+b)<0$ 表示该点被误分类。
   • 这是一个带符号的距离，因为它不仅给出点到超平面的距离，还表明该点是否在分类超平面的正确侧。

2. 误分类样本的符号：

   • 对于误分类的点，$y_i(w\cdot x_i+b)$ 会小于 0。这意味着公式 8-4 中的负号 $-\frac{1}{||w||}$ 将使最终结果变成正值，从而表示点到超平面的绝对距离，而不是带符号的距离。

3. $\frac{1}{||w||}$：

   • 这个部分用于标准化距离。由于 $w$ 是权重向量，它控制着超平面的方向和大小。通过除以 $||w||$，我们确保计算的是点 $x_i$ 到超平面的垂直距离，而不是其他斜向的距离。
   • 换句话说，这个标准化步骤将未标准化的点积 $w\cdot x_i+b$ 转换为真实的几何距离。

4. 负号的作用：

   • 负号 $-\frac{1}{||w||}$ 的作用是为了将误分类样本的签名距离转为正值，因为 $y_i(w\cdot x_i+b)$ 对于误分类点是负的（因为它在错误的一侧）。通过负号，最终计算出的距离是非负的，表示误分类样本到超平面的实际距离。

几何解释：

• 在感知机模型中，超平面 $w\cdot x+b=0$ 用于分隔不同类别的数据点。对于正确分类的点，$y_i(w\cdot x_i+b)$ 应该是正值，表示该点在超平面的正确一侧。对于误分类的点，$y_i(w\cdot x_i+b)$ 是负值，表示该点在超平面的错误一侧。

• 公式 8-4 计算的是这些误分类样本到超平面的垂直距离。我们需要将误分类样本“推回”到超平面的另一侧，这个距离表示了模型需要调整的程度。

举例说明：

假设我们有一个误分类样本 $x_i$，其标签为 $y_i=1$，且 $w\cdot x_i+b=-2$。那么根据公式 8-4，误分类样本到超平面的距离为：
$$S=-\frac{1}{||w||}\times 1\times (-2)=\frac{2}{||w||}$$

这个结果表示样本到超平面的距离是 $\frac{2}{||w||}$。这里，负号起到了反转作用，使得结果为正，表示几何意义上的绝对距离。

总结：

公式 8-4 表示的是误分类样本到分类超平面的垂直距离，该距离的计算通过标准化（除以 $||w||$）来确保结果是垂直距离。负号用于将误分类样本的带符号距离转换为正值，表示真实的几何距离。

这个公式对理解感知机训练和误分类样本的调整至关重要，因为它为模型提供了优化的方向和大小。