机器学习笔记（XVI）神经网络（III）误差逆传播(BP)算法

BP网络

定义

一般是指用BP算法训练的多层前反馈神经网络，
$BP=(error\space BackPropagation)$

主要用途

用于前馈神经网络

BP算法

定义

给定训练集合：

$$D=\left\{(\mathbf{x}_1,\mathbf{y}_1),(\mathbf{x}_2,\mathbf{y}_2),\dots,(\mathbf{x}_m,\mathbf{y}_m)\right\},\mathbf{x}_i\in\mathbb{R}^d,\mathbf{y}_i\in\mathbf{R}^\ell$$
为了构造这样一个神经网络，我们需要 $d$个输入神经元，$\ell$个输出神经元，于是添加 $q$个隐层神经元，便有下图。

其中：

• 输出层的第$j$个神经元的阈值用 $\theta_j$表示，
  • 隐层的第$h$个神经元的阈值用$\gamma_h$表示，
  • $v_{ih}$表示输入层第$i$个神经元与隐层第$h$个神经元之间的连接权重
  • $w_{hj}$表示隐层第$h$个神经元与输出层第$j$个神经元之间的连接权重
  • $b_h$为隐层第$h$个神经元的输出
  • 第$h$个隐层得到的输入是$\alpha_h=\sum_{i=1}^{d}v_{ih}x_{i}$
  • 输出层第$j$个神经元接收到的输入是$\beta_j=\sum_{h=1}^{q}w_{hj}b_h$

  • 假设：
    隐层和输出层都使用同一个$Sigmoid$函数
    
    

    $$sigmoid(x)=\dfrac{1}{1+e^{-x}}$$

    处理过程

    伪代码

    

    目标

    最小化训练集合上的累计误差：
    

    $$E=\dfrac{1}{m}\sum_{k=1}^{m}E_k$$
    书里的公式明天再推吧。