神经网络与BP算法

• 1. 神经网络
  • 1.1. 神经元模型
  • 1.2. 感知机与多层网络
  • 1.3. 误差逆传播算法(BP算法)
  • 1.4. 常见神经网络

1. 神经网络

1.1. 神经元模型

神经元接受到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。理想的激活函数是阶跃函数，将输入值映射到输出值0或1。但是阶跃函数有不连续、不光滑等不好的性质，因此实际常用sigmoid函数作为激活函数。 把许多神经元按一定的层次结构连接起来就得到了神经网络。

$$y=f(\sum _{i=1}^n{w}_i{x}_i-\theta )$$

1.2. 感知机与多层网络

感知机有两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层为M-P神经元，亦称“阈值逻辑单元”。通过将阈值$\theta$看做一个固定输入为-1.0的哑结点所对应的连接权重$w_{n+1}$，这样权重和阈值的学习可统一为权重的学习。

感知机的学习：对训练样例(x,y)，若当前感知机的输出为$\hat{y}$，则感知机权重将这样调整：
$$\begin{gathered} w_i\leftarrow w_i+\Delta w_i \\ \Delta w_i=\eta (y-\hat{y})x_i \end{gathered}$$
其中，$\eta$为学习率，在0和1之间。

感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元。
更一般的，常见的神经网络包含多层层级结构，每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，称为“多层前馈神经网络”。

1.3. 误差逆传播算法(BP算法)

BP网络一般指BP算法训练的多层前馈神经网络。

BP算法：
给定训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , x i ∈ R d , y i ∈ R l D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}, x_i \in \mathbb{R}^d, y_i \in \mathbb{R}^l D={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)},xi​∈Rd,yi​∈Rl，即输入示例由d个属性描述，输出l维实值向量。下图给出一个拥有d个输入神经元，l个输出神经元，q个隐层神经元的多层前馈神经网络

其中输出层第j个神经元的阈值用${\theta }_j$表示，隐层第h个神经元的阈值用${\gamma }_h$表示。输入层的第i个神经元与隐层第h个神经元之间的连接权为$v_{ih}$，隐层第h个神经元与输出层第j个神经元之间的连接权为 w h j w_{hj}