感知器

单层感知器

单层感知器进行模式识别的超平面为：

$$\sum_{i=1}^Nw_ix_i+b=0$$

单层感知器的算法

假定第n次迭代中的：
- 输入向量$x(n)=[1, x_1(n),x_2(n),...,x_N(n)]^T$
- 权值向量$w(n)=[b(n),w_1(n),w_2(n),...,w_N(n)]^T$

因此，第n次迭代时的线性组合器的输出为

$$v(n)=\sum_{i=0}^Nw_ix_i=w^T(n)x(n)$$

令上式等于0，即为二分类问题的决策面

学习算法步骤如下：
1. 定义变量和参数：
- $x(n)=[1, x_1(n),x_2(n),...,x_N(n)]^T$
- $w(n)=[b(n),w_1(n),w_2(n),...,w_N(n)]^T$
- $b(n)=偏置$
- $y(n)=实际输出$
- $d(n)=期望输出$
- $\eta=学习率，0<\eta<1$
- 激活函数$f=sgn$(符号函数)
2. 初始化：
- $n=0$
- 权值向量$w$设置为随机值或全零值
3. 迭代：
$y(n)=f(w^T(n)x(n))$
$w(n+1)=w(n)+\eta[d(n)-y(n)]x(n)$
4. 判断算法是否收敛，若收敛则结束算法，否则n+=1继续迭代。
收敛条件：
- $|d(n)-y(n)|<\epsilon, \epsilon是一个很小的正值$
- $|w(n+1)-w(n)|<\epsilon$
- 设定最大迭代次数M，迭代到了M次就停止迭代

注意： 为防止偶然因素导致的提前收敛，前两个条件可以改成连续若干次小于$\epsilon$。