统计学习方法|感知机

概述：基于统计学习的三要素（模型、策略、算法），对感知机模型、感知机的学习策略和感知机的学习算法进行归纳总结。

1.感知机模型：

1.1感知机模型定义：

由输入空间X到输出空间Y={+1,-1}的如下函数称为感知机：

$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(1)}$$

其中，$w$和$b$为感知机模型参数，$w$为权值或者权值向量（weight vector），b为偏置（bias），sign为符号函数，即

$$sign(x)=\{\begin{array}{cc}+1,& x\ge 0\\ -1,& x\le 0\end{array}\text{\hspace{1em}(2)}$$

感知机模型的假设空间是定义在特征空间中的所有线性分类模型（liner classification model）或线性分类器（liner classifier）,即函数集:

{ $f|f(x)=w\cdot x+b$}

感知机有如下几何解释：线性方程

(3)