感知机

感知机首先是二分类的线性分类模型，输入为特征向量，输出为+1或者-1两个值，属于判别模型。
它神经网络和支持向量机的基础。
1.感知器定义：输入特征空间的特征向量，输出它的类别。输入到输出的函数如下：

这就是感知器，w为权重向量，b为偏置。
它的效果就在特征空间当中把整个空间划分成两个部分。一个部分为+1，另一个部分为-1。
2.可分性：如果存在某个超平面能够将数据集的所有正例和负例都能够正确的划分到超平面的两侧，使得所有标签为+1的例子有，而对所有y=-1的例子有。那么就叫做数据集T为可分数据集。否则，就叫做数据集T线性不可分。
3.感知器学习策略（定义损失函数）：感知器学习的目标是求得一个能够将训练集正例和负例完全正确分开的超平面。为了找出这个超平面，即找到合适的w和b怎么做呢？策略如下：先定义损失函数，然后再将损失函数最小化。
好，首先损失函数是什么？很多种定义，一种定义是选择误分类点的点数，这样的话损失函数并不是连续可导函数，不方便优化。另外一种定义是选择误分类点到超平面S的总距离。这个貌似可行。就这样吧。
首先呢，空间中任意一个点到超平面S距离为：
（点到直线的距离）||w||是w的L2范数。
其次，如何表示误分类的数据呢，，这个可以表示分类错误的例子
这样，综合上述两点。假设误分类点集合为M，那么所有误分类点到超平面S的总距离为
,一般可以不考虑前面的，我们就这样得到了感知机的损失函数。该函数为非负的，如果没有误分点那么数值为0，误分点越少，误分点离超平面越近，损失函数的值就越小。误分时，这是一个对w和b的线性函数，分类正确的时候大小为0。因此，损失函数是w，b的连续可导函数。
4.感知器的学习算法（损失函数优化）：何为学习算法呢，学习算法就是求解损失函数的最优化问题，最优化方法就是随机梯度下降法。
首先，任意选取一个超平面，然后每次随机选取一个误分类的点使得其梯度下降，而不是使得M中所有误分类点的梯度下降。
由于，

那么，对于一个误分类点，它对于w和b的更新就是这样的：

其中，\eta就是步长，又称学习率。这样损失函数就会不断的减少，直到为0。

然后，只要有点是分类错误的，那就不断的重复上述的过程，直到训练集中没有分类错误的点。

有一个直观的解释：当一个例子被错误分类的时候，它就位于超平面错误的一侧，那么调整w和b的值就使得超平面更向该错误分类点一侧移动，从而减少了该误分点与超平面距离，直到超平面超过该误分类点使得它被正确分类。

关于其收敛性和对偶形式本篇不准备介绍