统计学习方法(二)

感知机

    感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。
感知机预测是用学习得到的感知机模型对新的输入实例进行分类，是神经网络与支持向量机的基础。

感知机模型

假设输入空间(特征空间)是 $\boldsymbol X \subseteq R^n$,输出空间是$\boldsymbol Y =\{+1，-1\}$,输入 $x\in \boldsymbol X表示实例的特征向量$，对应于输入空间(特征框空间)的点：输出 $y\in \boldsymbol Y实例实例的类别。
由输入到输出空间的如下函数

$$f(x)=sign(w\cdot x+b)$$
称为感知机，其中w和b为感知机模型参数， $w\in \boldsymbol R$叫做权值或者权值向量， $b\in \boldsymbol R$叫做偏量(bias), $w\cdot x$叫做w和x的内积。

感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中所有线性分类模型(lineear classfication model)或线性分类器(linear classifier),即函数集合$\{f|f(x)=w\cdot x+b\}$

线性方程

$$w\cdot x+b=0$$
对应于特征空间 $R^n中的一个超平面S，其中w是超平面的法向量。b是超平面的截距。$