BP神经网络之理论推导

BP神经网络之理论推导

一、 神经网络简介

神经元细胞

在19世纪，人们发现了人脑神经细胞传导兴奋的规律，计算机科学家们由此受到启发，提出来人工神经网络，希望用这个模型来模拟人脑。

神经元细胞有几个重要组成：轴突，树突，细胞体。轴突能将神经元的兴奋传递给其连接的神经元，而树突能够接收其他神经元传递过来的兴奋。神经元细胞根据接收到的兴奋决定是否将兴奋传递给下一个神经元细胞。

神经元模型

将神经元细胞抽象为数学模型，输入为$(x_1,x_2,\ldots, x_n)$, 每个输入都对应一个权重$(w_1,w_2,\ldots,w_n)$，θ为神经元的偏置，决定是否输出信号。F(z)为激活函数，将实数范围压缩到0至1。Y为神经元的输出。

$$y=\sum_{i=1}^{n}(w_ix_i-\theta)\tag{1}$$
$$f(x)=\frac{1}{1+e^{-x}}\tag{2}$$
可以假设 $x_0=1 ，w_0=-θ$。上式可以改写为 $y=f(w^Tx)$

二、神经网络正向计算

目前提出的神经网络模型很多，但最常用的还是前馈神经网络。

下面先定义描述神经网络的参数：
1. $w^l$ 第l层到第l+1层之间的权重矩阵，矩阵的维数为$N^{l+1} \times N^l$
2. $a^l$ 第l层的神经元的输出向量
3. $z^l$ 第l层神经元输入的加权和向量
4. $x$ 神经网络的输入向量
5. $y$ 神经网络的输出向量
6. $L$ 神经网络的层数
7. $N^l$第l层神经元的数量
8. g(z)