感知机

感知机
二类分类的线性分类模型
输入：实例的特征向量
输出：实例的类别，取+1和-1二值
感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。
感知机学习目的：求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。
感知机学习算法：简单，易于实现。分为原始形式和对偶形式。
感知机预测：用学习得到的感知机模型对新的输入实例进行分类。
感知机模型是神经网络和支持向量机的基础。

感知机模型
感知机模型如下：
f(x)= sign(w*x+b)
其中，x为输入向量，sign为符号函数，括号里面大于等于0，则其值为1，括号里面小于0，则其值为-1。w为权值向量，b为偏置。求感知机模型即求模型参数w和b。
感知机预测，即通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别1或者-1。

感知机学习策略
假设训练数据集是线性可分的，感知机学习的目标就是求得一个能够将训练数据集中正负实例完全分开的分类超平面，为了找到分类超平面，即确定感知机模型中的参数w和b，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。
这里选择的损失函数是误分类点到分类超平面S的总距离。输入空间中任一点x0到超平面S的距离为：

其中，||w||为w的L2范数。

其次，对于误分类的数据（xi,yi）来说当wxi + b>0时，yi=-1
当wxi + b<0时，yi=+1。
所以对误分类点（xi, yi）满足：
-yi (wxi +b) > 0
所以误分类点（xi, yi）到分类超平面S的距离是：

感知机算法

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面w0，b0，然后用梯度下降法不断极小化目标函数式。极小化的过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
损失函数L(w,b)的梯度是对w和b求偏导。

综上，感知机学习算法如下：

这种算法的基本思想是：当一个实例点被误分类，即位于分类超平面错误的一侧时，则调整w和b，使分类超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直到超平面越过该误分类点使其被正确分类为止。

需要注意的是，这种感知机学习算法得到的模型参数不是唯一的，它会由于采用不同的参数初始值或选取不同的误分类点，而导致解不同。为了得到唯一的分类超平面，需要对分类超平面增加约束条件，线性支持向量机就是这个想法。另外，当训练数据集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。而对于线性可分的数据集，算法一定是收敛的，即经过有限次迭代，一定可以得到一个将数据集完全正确划分的分类超平面及感知机模型。

以上是感知机学习算法的原始形式
感知机学习算法的对偶形式的基本想法是：将w和b表示为实例xi和标记yi的线性组合形式，通过求解其系数而求得w和b。对误分类点（xi, yi）通过

感知机的原始形式和对偶形式在解决问题的计算上是一致的，但是他们的思想不同，原始形式的基本思想是对于误分类点，调整w和b，使分类超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直到超平面越过该误分类点使其被正确分类为止。 而对偶形式的基本思想是将w和b表示成x和y的线性组合形式，从而求出w和b。