感知机模型（统计学习方法）之一

概念

感知机是二分类的线性模型，输入为实例的特征向量，输出为实例的类别，取 {-1, +1}。感知机学习的目的在于找到某个超平面，能将正负实例完全分离，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数极小化，以此求得感知机模型。

定义

假设输入空间$X\subseteq {\mathbb{R}}^n$，输出空间 Y = { + 1 , − 1 } Y=\{+1,-1\} Y={+1,−1} 。输入x表示实例的特征向量，对应于输入空间的点，输出y表示实例的类别。由输入空间到输出空间的如下函数：
$$\begin{array}{r}f(x)=\mathrm{sign}(w\cdot x+b)\end{array}$$称为感知机。其中，$w$ 和 $b$ 为模型参数，$w\subseteq {\mathbb{R}}^n$叫做权值向量，$b\subseteq \mathbb{R}$叫做偏置。sign(x)为符号函数：
$$\begin{array}{r}sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}\end{array}$$感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合 { f ∣ f ( x ) = w ⋅ x + b } \{f \mid f(x)=w \cdot x+b\} {f∣f(x)=w⋅x+b}

几何解释

感知机可解释为线性方程：
$$w\cdot x+b=0$$对应于特征空间中的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。超平面$S$将特征空间划分为两部分，位于这两部分的点对应被分为正、负两类。如下图所示：

下一章：感知机学习策略