感知机:神经网络的基石

感知机是监督学习算法中最基础的一种,也是神经网络,以及现在最流行的深度学习的基石。
感知机是一种二分线性分类模型,输入为N维向量X,输出为分类值Y。感知机的目的是在特征空间中找到一个超平面,将输入划分为两个部分。

感知机的集合解释是学习到一个 W*X + b = 0 的超平面,将数据集分类为两个部分。而如果一个数据集能够找到一个这样的超平面S将数据集的所有正负实例都完全正确地分解到超平面的两侧,则称数据集T是线性可分书籍及,否则称数据集为线性不可分数据集。

如何定义感知机的损失函数呢?
一种天然的选择是误分类点的总数,只有将误分类点的总数下降到最小,直到0,我们就能够学习到满足要求的超平面。但是这样的损失函数不是对于参数w,b连续可导的函数,所以不方便我们学习。
另一种选择就是,误分类点到超平面S的总距离。
我们假设其中任意一点x0到超平面S的距离为:
那对于误分类点(xi,yi)有:
那么误分类点到超平面的距离就应该是

所有误分类点到超平面S的距离为

其中上式被红圈圈住的部分是一个常数,可以不考虑

我们就得到了损失函数的定义

我们要学习到超平面,就只需要将顺势函数降之最小,当损失函数等于0时,超平面将所有数据集完全分到了它的两侧。

感知机的学习算法有两种形式,一是梯度下降,二是对偶形式:



阅读更多

没有更多推荐了,返回首页