关于感知器模型
感知器是一个简单的监督学习的机器学习算法,也是最早的神经网络结构。作为一个二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别。数据:
是一个d维的特征向量,
是目标标签,
目标:利用上述给定的数据学习一个超平面
使其可以将数据集的正例点和负实例点划分到两侧。即:
,
算法详解
损失函数
为学习上述的超平面,选择误分类点的总数作为损失函数是一个很直观的选择,但是由于该损失函数对参数非连续可导,因此采用误分类点到超平面
的总距离作为损失函数。
对于错误分类的实例,当真实标签为
,错误的预测结果为
;真实标签为
时,错误的预测结果为
,因此,错误分类点
到超平面的距离可由如下表示:
由于感知机的目的在于使所有训练样本分类正确,
对于判断是否分类正确没有影响,因此相关损失函数中可略去该项。对于误分类实例集合M,可得如下损失函数:
求解
原始形式
感知器学习算法是误分类驱动的,可采用随机梯度下降算法对参数
和</