BP神经网络模型----第二篇（感知器网络模型）

感知器网络的简单认识

上一篇介绍了人工神经网络背景，神经元，神经元模型以及神经网络的最初模型–MP模型的概念，这就有了一个初步的对神经网络的了解。
那么接下来一起来看一下什么是感知器网络。

神经网络根据层次有：单层神经网络，双层神经网络和多层神经网络之分。

上一篇说的MP模型与今天说的感知器网络都属于单层神经网络。

通过介绍我们已经知道了MP模型的一个最大的缺点就是该模型的权值是不可调节的，固定的，这就导致模型不能用来进行学习。

而感知机神经元在MP模型的基础之上增加了学习功能和偏置，其权值可以根据设计目的进行调节。

感知器网络就很适合简单模型的分类问题，解决线性划分（两类）问题。

感知器神经元模型

感知器模型和MP模型一样都是单层神经网络，它比MP模型多了偏置，且w值可以根据目的进行调节。
单层神经网络就是如下，中间过程包含两个计算函数。

偏置（偏差b）是一个可调节参数，增加了神经网络的可塑性,即：
$$Ne{t}_{ij}=\sum _{j=1}^r{W}_j{P}_j+b$$
（记住$WP+b$即：权重*输入+偏置）

$f(n)$函数是激活函数（激活函数的概念在第一篇时已经说明）

$Ne{t}_{ij}$经过激活函数计算，输出实际输出值$a_i$

该模型用公式可表达为：

输出$$a_i=f(WP+b)=f(\sum _{j=1}^r{W}_j{P}_j+b)=f(Ne{t}_{ij})=\{\begin{array}{ll}1& Ne{t}_{ij}>=0\\ 0& Ne{t}_{ij}<0\end{array}$$

(感知器网络模型的激活函数可以说是sign符号函数，返回数字0/1，用以分类)

一般来说，感知器网络结构是单层神经网络（也有多层，如下图示意的，可以感受一下多层和单层的区别在哪儿，手动绘画，有些丑）

每个神经元的计算都有偏置b加入。

将上述模型结构权重值，抽象用矩阵表示一下可以这样表述：

感知器的输入和输出

感知器的input个数与output个数不一定一致，这个可以参看MP模型，

（比如说输入P1，P2，P3三个，经过权值求和激活函数最终被分为两类0/1，这个时候输入3个输出2个。）

我们用 $r$ 表示input个数，$s$ 表示神经元个数。
一组输入输出和多组输入输出的矩阵表达：

$$N_{sq}=W_{sr}\ast P_{rq}+B_{sq}$$
$$A_{sq}=F(N_{sq})$$
($W_{sr}$是上面的权重值矩阵)

当$s$=1,$r$=2时，根据$WP+b$得：$W1\ast P1+W2\ast P2+b$

s个神经元组成的感知器将输入空间分为$2^s$类

output向量的第i个元素的表达：

再来看一下上面的$W_{sr}$:

我们可以把每行 $i$ 的权重都写为：
$$i^W=\left[\begin{array}{c}{W}_{i1}\\ W_{i2}\\ ⋮\\ W_{ir}\end{array}\right]$$
那么它的转置可写为：
$$i^{W^T}=\left[\begin{array}{c}{W}_{i1},W_{i2},...,W_{ir}\end{array}\right]$$

则$W_{sr}$的第一行可以写为：
$$1^{W^T}=\left[\begin{array}{c}{W}_{11},W_{12},...,W_{1r}\end{array}\right]$$

则$W_{sr}$的第二行可以写为：
$$2^{W^T}=\left[\begin{array}{c}{W}_{21},W_{22},...,W_r\end{array}\right]$$

以此类推最终$W_{sr}$可以表达为：
$$W_{sr}=\left[\begin{array}{c}{1}^{W^T}\\ 2^{W^T}\\ 3^{W^T}\\ ⋮\\ s^{W^T}\end{array}\right]$$

则感知器网络输出向量的第i个元素可以表达为：

$$a_i=Ne{t}_i=i^{W^T}\ast P+b$$

单神经元感知器

只有一个神经元的感知器网络。

先看一个概念：判定边界

判定边界

看图，感知器线性分类分为0/1两类，红色线=0时是一条边界线

也就是$$a_i=i^{W^T}\ast P+b=W11\ast P1+W21\ast P2+b=0$$是一个边界。

为了确定边界的哪边对应的输出为1，哪边对应的0，只需要检测输入空间的1个点，比如取右上方区域一点，若该点预测的a=1则判定边界右上方区域为网络输出为1

比如取第一个元素，取右上方的A点$[2，0{]}^T$
判定边界定为 $1^{W^T}\ast P+b$，（$1^W$是权重向量，总是指向为1的部分。）
则$$a=\left[\begin{array}{c}1,1\end{array}\right]\ast \left[\begin{array}{c}2\\ 0\end{array}\right]-1=2-1=1$$

所以判定右上方输出为1，即右上方预测的结果a都是1。
这里是不是发现一个问题，$1^{W^T}\ast P$不是要+b吗？为什么上面的计算中是-b呐？往下看原因

对于判定边界线上所有的点而言，输入向量与权重值向量的内积是一样的（$1^W\ast P=-b；W^T\ast P=-b$，都是-b），这意味着所有P在 $1^W$ 上有相同阴影，所以她们必须位于与权重向量是正交的一条线上。

在$1^W$指向的阴影区域（右上方区域）中任意输入P向量都有着大于-b的内积，所以是-b；
左下方区域输入向量有着小于-b的内积，所以这里是+b。

感知器学习规则

通过调整权重和偏差来使得学习性能更好，预测结果更准确。
$a_i$为网络预测出来的结果值；
$t_i$为目标值（最初自己想要得到的值）

若$a_i=t_i$，则不用改变权重和偏差；
若$a_i$不等于$t_i$，则需要改变权重W与偏差值b：
·$a_i=0，t_i=1$时，修正：$W_{new}=W_{old}+P^T，b_i=b_i+1$
·$a_i=1，t_i=0$时，修正：$W_{new}=W_{old}-P^T，b_i=b_i-1$

学习的统一表达式：
感知器的修正权重值公式：
1.用分量表示：
$$\Delta W_{ij}=(t_i-a_i)\ast P^T$$
$$\Delta b_i=(t_i-a_i)\ast 1$$
2.用矩阵表示：
$$W=W+E\ast P^T$$
$$B=B+E$$