感知器算法原理详解

感知器是人工神经网络中的一种典型结构， 它的主要的特点是结构简单。它是一种分类学习器，是很多复杂算法的基础。其“赏罚概念”在机器学习算法在中广为应用。在分类正确时，对正确的权重向量w赏，即w不变；当分类错误时，对权重向量罚，即将权重向量w向着争取的方向转变。

算法步骤

在这里先对感知器算法步骤进行说明。
假设有样本集如下图所示，其中x_i为样本特征向量，y_i为对应样本分类标签。

在传统线性可分的二分类情况下，可以使w^Tx>=0时分类为正样本，w^Tx<0分类为负样本。
算法步骤如下图所示，对所有负样本乘以-1以方便算法流程，即使w^Tx>=0时判断为分类正确。
随机生成初始权重向量w₀，在每轮迭代中，若样本i分类正确即w^Tx_i>=0时，不对w进行修改；当本轮迭代中，针对样本i出现分类错误，即w^Tx_i<0时，对权重向量w“罚”，使之朝着正确的趋势改进。η为学习率。
在迭代次数t=T时，如果无错误分类，则迭代结束。

算法步骤解释

用错分样本x_i作为权重向量的改进尺度，迭代能否收敛呢？答案是肯定的，对于特征向量x_i，其内积大于x_i^Tx_i必定大于0。即：

而当我们讨论到为什么要用自身样本特征向量x_i作为“罚”时，实际上，对于权重向量w，如果某个样本特征向量x被错误分类,则w^Tx<0。我们可以用对所有错分样本的求和来表示对错分样本的惩罚：

Γ为所有错分样本集。J_p（w）为风险泛函。
对于解向量w*，我们希望它满足以下公式。即无错分样本时，J_p（w*）值为0。实际上，当J_p（w）越趋近于0时，我们可以认为样本越朝着正确的方向前进。

对于J_p（w*）的最小化，可以由梯度下降法求解。t为迭代次数，η为学习率。即：

根据上式：

那么，我们最终的迭代方案可以为：