感知机(perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。
一 感知机模型
假设输入空间(特征空间)是 \(\mathcal{X} \subseteq \mathbf{R}^{n}\),输出空间是 \(\mathcal{Y}=\{+1,-1\}\),输入 \(x \in \mathcal{X}\),表示实例的特征向量,对应于输入空间的点,输出 \(y \in \mathcal{Y}\),表示实例的类别。
$$
f(x)=\operatorname{sign}(w \cdot x+b)
$$
称为感知机,\(w \in \mathbf{R}^{n}\) 叫做权值(weight)或权值向量(weight vector),\(b \in \mathbf{R}\) 叫做偏置(bias),\(w \cdot x\) 表示内积,\(sign\) 是符号函数:
$$
\operatorname{sign}(x)=\left\{\begin{array}{ll}{+1,} & {x \geqslant 0} \\ {-1,} & {x<0}\end{array}\righ