感知机模型

一、什么是感知机模型？

感知机是线性分类的二分类模型，输入为实例的特征向量，输出为实例的类别，分别用1和-1表示。感知机将输入空间（特征空间）中的实例划分为正负两类分离的超平面，旨在求出将训练集进行线性划分的超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得最优解。感知机是神经网络和支持向量机的基础。

二、感知机模型

感知机的函数公式为：$f(x)=sign(w\cdot x+b)$
其中$w$和$b$为感知机模型参数，$w\in R^n$叫做权值或者权值向量，$b\in R$叫做偏差，$w\cdot x$叫做$w$和$x$的内积，$sign$是符号函数，即：$$sign(x)=\{\begin{array}{ll}1& ,x⩾0\\ -1& ,x<0\end{array}$$
感知机的假设空间是定义在特征空间中所有线性分类模型的函数集合，即 { f ∣ f ( x ) = w ⋅ x + b } \{f|f(x)=w·x+b\} { f∣f(x)=w⋅x+b}
感知机的几何解释：线性方程$w\cdot x+b=0$对应特征空间$R^n$中的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。该超平面将特征空间分为两个部分，将特征向量分为正负两类。因此，超平面$S$成为分离超平面。

三、感知机的学习策略

假设训练数据集是线性可分的，感知机的学习目标就是找到能够将正负实例点完全分开的超平面，即确定感知机模型参数$w$和$b$，因此就是确定（经验）损失函数并求损失函数的最优解，即最小化。
感知机$sign(w\cdot x+b)$学习的损失函数定义为：
$$L(w,b)=-\sum _{x\in M}{y}_i(w\cdot x_i+b)$$
下面给出推导：
1）首先输入空间$R^n$中任意点$x_0$到超平面$S$的距离：$\frac{1}{||w||}|w\cdot x_0+b|$，其中$||w||$是$w$的$L2$范数；
2）对于误分类数据$(x_i,y_i)$来说，当$w\cdot x_i+b>0$时，$y_i=-1$，而当$w\cdot x_i+b<0$时，$y^{}$