bp神经网络推导及python实例

bp神经网络

BP（back propagation，反向传播）神经网络（neural network），通常指具有三层网络结构的浅层神经网络。神经网络由一个个神经元（Neuron）组成，神经元由输入、计算、输出单元组成。

对应上图输入为$x_1,x_2,\cdots ,x_n$和截距$+1$，输出为：
$$\hat{y}=h_{w,b}(X)=f(w^{T}X)=f(\sum _{i=1}^n{w}_i{x}_i+b)$$
其中w表示权重值，函数f为激活函数，有如下激活函数：
$$sigmoid:f(x)=\frac{1}{1+ex{p}^{-x}}$$
$$tanh:f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
$$ReLu:f(x)=max(0,x)$$
$$SoftPlus:f(x)=lo{g}_e(1+e^x)$$
对应图像为：

一个三层的神经网络结构图：

相关参数说明

• 网络层数$n_l$，三层网络$n_l=3$，第$l$层记为$L_l$
• $L_1,L_2,L_3$分别为输入层，隐藏层，输出层
• 权重$w=(w^1,w^2)$，其中$w_{ij}^l$表示$l$层的第$j$个神经元与$l+1$层的第$i$个神经元的参数，如$w_{21}^1$表示1层第1个神经元与2层第2个神经元的连接参数
• 偏置$b_i^l$表示第$l+1$层的第i个神经元的偏置项，如$b_2^1$表示2层第2个神经元的偏置项
• $z_i^l$表示$l$层第$i$个神经元的输入
• $a_i^l$表示$l$层第$i$个神经元的输出
• $S_l$表示$l$层的神经元个数，如$S_3$表示3层有2个神经元

参数计算关系如下：
$$a_2^2=f(z_2^2)=f(w_{21}^1{x}_1+w_{22}^1{x}_2+w_{23}^1{x}_3+b_2^1)$$
即每个神经元的输入为上一层所有神经元输出的加权求和，神经元输入值经过激活函数处理后得到神经元输出。

损失函数

对于每个训练样本$(X,y)$，损失函数为：
$$J(W,b;X,y)=\frac{1}{2}||h_{w,b}(X)-y|{|}^2$$
表示最后一层输出层的输出值与实际值的欧式距离，结果是一个向量，向量维度等于输出层神经元数量。

为得到损失函数最小值，首先对参数进行初始化，初始化为一个接近0的随机值。再利用前向传播得到预测值，从而计算损失值。此时需要利用损失函数调整参数，可使用梯度下降法，梯度下降公式为：
$$W_{ij}^l=W_{ij}^l-\alpha \frac{\partial J(W,b)}{\partial W_{ij}^l}$$
$$b_i^l=b_i^l-\alpha \frac{\partial J(W,b)}{\partial b_i^l}$$
其中偏导部分：
$$\frac{\partial J(W,b)}{\partial W_{ij}^l}$$