BP神经网络的推导及其参数统计

对3层神经网络结构推导，求出它的参数，以及每层需要计算的参数和数量。

说明：本次总结的图片来自周志华老师的课件。

单个节点的神经元

图中给出了输入到某一个隐藏层单一节点的过程

一个完整的神经网络结构如下：

• 整体结构：
  输入层节点$d$个，隐藏层节点$q$个，输出层节点$l$个

• 各层的权重定义如下：
  输入层到隐藏层： $V$
  $v_{ih}$ 表示 第$i$个输入层节点 ——> 第$h$个隐藏层节点
  隐藏层到输出层：$W$
  $w_{hj}$ 表示第$h$个隐藏层节点 ——> 第$j$个输出层节点

• 各层的值
  第$h$个隐藏层的输入定义如下：
  

  $$\alpha_{h} = \sum_{i=1}^{d} v_{ih} x_{i}$$

  第$j$个输出层神经元的输入定义如下：
  

  $$\beta_{j} = \sum_{h=i}^{q} w_{hj} b_{h}$$

对于给定的数据集${(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})}$

全局的均方误差为：

对于第$k$个样本在输出层的第$j$个节点上的输出结果为：

$$\hat{y}^{k}_{j}$$

那么，对于一个样本来说，整体的均方误差为：

$$E_{k} = \frac{1}{2} \sum_{j=1}^{l} (\hat{y}^{k}_{j} - y^{k}_{j})^{2}$$

参数的更新

基于梯度下降法来进行更新：
激活函数为

$$f$$
这里 $f$为给定的表示符号，可代指所有符合条件的激活函数。不过，本博文设置的激活函数为sigmoid，即 $f(x) = \frac{1}{1+e^{-x}}$

学习率为

$$\eta$$

对权重$w$和$v$的更新，遵循先$w$后