详解SVM系列（一）：感知机

什么是感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

感知机对应于输入空间（特征空间）中将实例分为正负两类的分离超平面，属于判别模型。

感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

最重要的是感知机是支持向量机（SVM）的基础（修改下损失函数，后面会介绍）

感知机模型

定义：假设输入空间（特征空间）是χ属于$R^n$,输出空间是Υ属于{+1,-1},输入$x\in \chi$表示实例的特征向量，对应于输入空间的点；输出y表示实例的类别
由输入空间到输出空间的如下函数：
$f(x)=sign(wx+b)$称为感知机 （这个就是感知机模型）
其中，$w和b称为感知机的参数，w为权值向量，b为偏置，wx表示w和x的内积，sign是符号函数即$
$sign(x)=+1当x\ge 0$
$sign(x)=-1当x＜0$

感知机是一种线性分类模型，属于判别模型。感知机的假设空间是定义在特征空间中的所有线性分类器，即函数集合$f|f(x)=wx+b$

感知机的几何解释

感知机有如下的几何解释：对于线性方程 $wx+b=0$ ——(1)
对应于特征空间一个超平面S，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点被分为正负两类。因此超平面称为分离超平面。如下图所示：

感知机学习，由训练数据集（实例的特征向量及类别） T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … … ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),……(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),……(xN​,yN​)}
求得感知机模型 $f(x)=sign(wx+b)$,即求得模型参数$w,b$

感知机预测：通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别。

感知机学习策略

数据集的线性可分性：

定义：给定一个数据集$T=(x_1,y_1),(x_2,y_2)\dots \dots (x_n,y_{}$