感知机：神经网络的基石

感知机是监督学习算法中最基础的一种，也是神经网络，以及现在最流行的深度学习的基石。

感知机是一种二分线性分类模型，输入为N维向量X，输出为分类值Y。感知机的目的是在特征空间中找到一个超平面，将输入划分为两个部分。

感知机的集合解释是学习到一个 W*X + b = 0 的超平面，将数据集分类为两个部分。而如果一个数据集能够找到一个这样的超平面S将数据集的所有正负实例都完全正确地分解到超平面的两侧，则称数据集T是线性可分书籍及，否则称数据集为线性不可分数据集。

如何定义感知机的损失函数呢？

一种天然的选择是误分类点的总数，只有将误分类点的总数下降到最小，直到0，我们就能够学习到满足要求的超平面。但是这样的损失函数不是对于参数w，b连续可导的函数，所以不方便我们学习。

另一种选择就是，误分类点到超平面S的总距离。

我们假设其中任意一点x0到超平面S的距离为：

那对于误分类点（xi，yi）有：

那么误分类点到超平面的距离就应该是

所有误分类点到超平面S的距离为

其中上式被红圈圈住的部分是一个常数，可以不考虑

我们就得到了损失函数的定义

我们要学习到超平面，就只需要将顺势函数降之最小，当损失函数等于0时，超平面将所有数据集完全分到了它的两侧。

感知机的学习算法有两种形式，一是梯度下降，二是对偶形式：