《统计学习方法》 感知机

感知机是二分类问题的线性分类模型，输入为实例的特征向量，输出为实例的类别，去+1和-1两值。属于判别模型，对输入实例进行分类。旨在求出将训练数据进行线性划分（可以将训练集正实例点和负实例点完全正确划分）的分离超平面。

感知机：f(x)=sign(w*x+b)

其中 sign是符号函数。当x>=0时，=1；当x<=0时，=-1 

通过训练集T={(x1,y1),(x2,y2)...}求得模型参数w和b，并将损失函数极小化。

损失函数：L(w,b)=-

误分类点越少，误分类点离超平面越近，损失函数值就越小。

感知机学习问题转化为求解损失函数的最优化问题，最优化的方法是随机梯度下降法。

该算法在直观上的解释是：当一个实例点被误分类，即位于分离超平面的错误的一侧时，则调整w，b的值，使分离超平面向该误分类点一侧移动，以减少该误分类点与超平面间的距离，直至超平面超过该误分类点使其可以正确分类。

算法的收敛性：经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。

                         当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。