机器学习：线性分类问题（基础知识）-CSDN博客

本文链接：https://blog.csdn.net/GentleCP/article/details/101626181

本文介绍了机器学习中的线性分类问题，包括超平面的定义及其表达式，线性函数如何刻画距离，以及不同类型的相似度度量如欧式距离和曼哈顿距离。接着详细讨论了分类问题的定义、评估方法（如错误率、准确率、查准率和查全率）以及性能评价。此外，还解释了线性判别函数和线性分类器的工作原理，并提及了线性分类器的选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、超平面
- 1.1 超平面表达式
二、线性函数：距离刻画
三、相似度度量
四、分类问题
五、线性分类问题
- 5.1 线性判别函数
- 5.2 线性分类器
六、参考资料

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

一、超平面

超平面不一定是一个面，它是所处向量空间的一个子空间，如立体空间中一个面，二维平面上一条线。它的作用在于将空间中的数据一分为二，达到分类的目的。

1.1 超平面表达式

$\mathbf w^T\mathbf x+w_0 = 0\\$

$\mathbf w = (w_1,w_2,...,w_l)^T$ ,权向量（超平面法向量）
$\mathbf x = (x_1,x_2,...,x_l)^T$ ,实例（样本向量)
$w_0$ ,偏移量
在实际中，w确定，因此这个方程代表所有满足的向量x（点）的集合， $w^Tx$ 可视为x向w的投影乘以w的模长

这个方程的解读也可以是x向w的投影长度为 $\frac{-w_0}{||w||}$ 的点集合。

二、线性函数：距离刻画

上面的超平面定义了所有在超平面上的点，那如果是不在超平面上的点与该超平面又有什么关系？

设 $x_p$ 是x在超平面 $\mathbf w^T\mathbf x+w_0=0$ 的投影点，得公式如下：
$\mathbf x = \mathbf x_p + (\mathbf x-\mathbf x_p) \\ \frac{\mathbf w^Tx}{||\mathbf w||} = \frac{\mathbf w^T\mathbf x_p}{||\mathbf w||} + \frac{\mathbf w^T(\mathbf x - \mathbf x_p)}{||\mathbf w||}, 两边同时乘上 \frac{\mathbf w^T}{||\mathbf w||} \\$
可绘出图例如下：
在这里插入图片描述

$\frac{\mathbf w^T\mathbf x_p}{||\mathbf w||},z = \frac{\mathbf w^T(\mathbf x - \mathbf x_p)}{||\mathbf w||}\\ 结合\ \mathbf w^T\mathbf x_p + w_0 = 0,\\ 有d = \frac{-w_0}{||\mathbf w||},z = \frac{\mathbf w^T\mathbf x+w_0}{||\mathbf w||} = \frac{g(\mathbf x)}{||\mathbf w||}$