机器学习（十一）单层感知器算法

单层感知器算法

感知器介绍

感知器为二分类模型与逻辑回归类似其输入为实例的特征向量，输出为实例的类别，取+1或者-1值。

简单来说，就是在平面坐标轴画一条直线，把点分为两类。

感知器结构

输入节点：x1,x2,x3

输出节点：y

权衡向量：w1,w2,w3

偏置因子： b

激活函数：
$$\mathrm{sign}(x)=\{\begin{array}{rl}1& x>0\\ 0& x=0\\ -1& x<0\end{array}$$
学习信号：神经元期望输出与实际值输出之差

dj为期望输出，oj为实际输出：

其中：
$$ne{t}_j^{\prime }=\sum _{i=1}^n{\omega }_{ij}{x}_i$$

$$o_j=\mathrm{sgn}\left(ne{t}_j^{\prime }-{\theta }_j\right)=\mathrm{sgn}\left(\sum _{i=0}^n{\omega }_{ij}{x}_i\right)=\mathrm{sgn}\left(W_j^{T}X\right)$$

$$r=d_j-0_{j+}$$
权值调整公式为：
$$\begin{array}{rl}& \Delta {\mathrm{W}}_i=\mathrm{n}\left[{\mathrm{d}}_{\mathrm{j}}-\mathrm{s}\mathrm{g}\mathrm{n}\left({\mathrm{W}}_{\mathrm{i}}^{\top }\mathrm{x}\right)\right]\mathrm{X}\\ & \Delta {\mathrm{W}}_{\mathrm{i}\mathrm{j}}=\mathrm{n}\left[{\mathrm{d}}_{\mathrm{j}}-\mathrm{s}\mathrm{g}\mathrm{n}\left({\mathrm{W}}_{\mathrm{i}}^{\mathrm{T}}\mathrm{x}\right)\right]{\mathrm{x}}_{\mathrm{i}}\mathrm{i}=0,1,2,\dots ,\mathrm{n}\end{array}$$
学习率：

1. η学习率（0<η<1）
2. 学习率太大，容易造成权值调整不稳定
3. 学习率太小，权值调整太慢，迭代次数太多

收敛条件：

1. 误差小于某个预先设定的较小值
2. 两次迭代之间的权值变化已经很小
3. 设定最大迭代次数，当超过最大次数就停止