机器学习：线性分类问题（基础知识）

本文属于我的机器学习/深度学习系列文章，点此查看系列文章目录

一、超平面

超平面不一定是一个面，它是所处向量空间的一个子空间，如立体空间中一个面，二维平面上一条线。它的作用在于将空间中的数据一分为二，达到分类的目的。

1.1 超平面表达式

$$g(x)={\mathbf{w}}^T\mathbf{x}+w_0=0$$

• $\mathbf{w}=(w_1,w_2,...,w_l{)}^T$,权向量（超平面法向量）
• $\mathbf{x}=(x_1,x_2,...,x_l{)}^T$,实例（样本向量)
• $w_0$,偏移量
  在实际中，w确定，因此这个方程代表所有满足的向量x（点）的集合，$w^{T}x$可视为x向w的投影乘以w的模长

这个方程的解读也可以是x向w的投影长度为$\frac{-w_0}{||w||}$的点集合。

二、线性函数：距离刻画

上面的超平面定义了所有在超平面上的点，那如果是不在超平面上的点与该超平面又有什么关系？

设$x_p$是x在超平面${\mathbf{w}}^T\mathbf{x}+w_0=0$的投影点，得公式如下：
$$\begin{gathered} \mathbf{x}={\mathbf{x}}_p+(\mathbf{x}-{\mathbf{x}}_p) \\ \frac{{\mathbf{w}}^{T}x}{||\mathbf{w}||}=\frac{{\mathbf{w}}^T{\mathbf{x}}_p}{||\mathbf{w}||}+\frac{{\mathbf{w}}^T(\mathbf{x}-{\mathbf{x}}_p)}{||\mathbf{w}||},两边同时乘上\frac{{\mathbf{w}}^T}{||\mathbf{w}||} \end{gathered}$$
可绘出图例如下：

$$令d=\frac{{\mathbf{w}}^T{\mathbf{x}}_p}{||\mathbf{w}||},z=$$