感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。
假设输入空间（特征空间）是x⊆R^n，输出空间是y={+1,-1}。输入x∈X表示实例的特征向量，对应于输入空间（特征空间）的点，输出y∈Y表示实例的类别。由输入空间到输出空间的如下函数f(x)=sign(w*x+b)称为感知机。
感知机模型图如下：

感知机学习策略

数据集的线性可分性：给定一数据集T={(x1,y1),(x2,y2),…(xn,yn)}，其中xi∈X=R^n，yi∈Y={+1，-1}，i=1,2,3……n，如果存在某个超平面S：wx+b=0
能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，即对所有yi=+1的实例i，有wxi+b>0；对所有yi=-1的实例i，有w*xi+b<0，则称数据集T为线性可分数据集，否则，称数据集T线性不可分。
为了将正实例点和负实例点完全正确分开需要找到一个分离超平面，要找到这个分离超平面我们需要确定感知机模型参数w，b，为了确定感知机模型参数我们就要确定一个学习策略，即定义（经验