手写误差反向传播算法Error BackPropagation

本文介绍如何手写神经网络训练代码

已知数据：

输入数据$X\in {\mathbb{R}}^{n\times d}$，$n$为样本个数，$d$为样本维数，也就是神经网络输入节点数。
标注数据$Y\in {\mathbb{R}}^{n\times t}$, $t$为输出维数，也就是神经网络输出节点数。
注意，为了便于书写，不考虑偏置Bias。

神经网络模型：

两层权重，三层节点。
$\hat{Y}=f_2(f_1(X{W}_1)W_2)$，$W_1\in {\mathbb{R}}^{d\times h}$和$W_2\in {\mathbb{R}}^{h\times t}$为带求参数。$\hat{Y}$为预测输出。$f_1,f_2$为激励函数。

损失函数：

$L=\frac{1}{2}||\hat{Y}-Y|{|}^2$

训练伪代码:

1. 初始化$W_1$,$W_2$.

2. 前向过程：
   $H=f_1(X{W}_1)$
   $\hat{Y}=f_2(H{W}_2)$

3. 反向过程：
   令$e=\hat{Y}-Y$
   $\frac{\partial L}{\partial W_2}=f_1^T[e.\ast f_2^{\prime }]$

   $\frac{\partial L}{\partial W_1}=X^T[e{W}_2^T.\ast f_1^{\prime }]$
   此处注意误差$e$传递过程，当层数更多时只需计算$e{W}^T$即可。
   （直观上说，任何一条权重的梯度等于$a_{i}e{a}_o^{\prime }$：$a_i$为输入权重的激励值，e为传到输出节点$a_o$的误差，$a_o^{\prime }$为激励函数导数输出。）
   注意：反向传播是一种自动微分技术，是一种特殊的反向模式自动微分技术，其通过构建计算图来计算所有权重的梯度。
   如下是一个两层权重神经网络的计算图示意图：
   
   $$\frac{\partial L}{\partial \hat{Y}}=(\hat{Y}-Y).\ast f_2^{\prime }$$
   $$\frac{\partial \hat{Y}}{\partial W_2}=H.\ast f_2^{\prime }$$
   $$\frac{\partial L}{\partial W_2}={\frac{\partial \hat{Y}}{\partial W_2}}^T\frac{\partial L}{\partial \hat{Y}}$$
   $$\frac{\partial \hat{Y}}{\partial H}=W_2.\ast f_2^{\prime }$$
   $$\frac{\partial L}{\partial H}=\frac{\partial \hat{Y}}{\partial H}\frac{\partial L}{\partial \hat{Y}}$$
   $$\frac{\partial H}{\partial W_1}=X.\ast f_1^{\prime }$$
   $$\frac{\partial L}{\partial W_1}={\frac{\partial H}{\partial W_1}}^T\frac{\partial L}{\partial H}$$
   实际梯度batch平均梯度为：
   $$\frac{\partial L}{\partial W_2}=\frac{\partial L}{\partial W_2}/n$$
   $$\frac{\partial L}{\partial W_1}=\frac{\partial L}{\partial W_1}/n$$

4. 应用梯度更新权重：
   $$W_1=W_1-\alpha \frac{\partial L}{\partial W_1}$$
   $$W_2=W_2-\alpha \frac{\partial L}{\partial W_2}$$
   $\alpha$为学习率。

5. 计算损失函数，不收敛则继续2-4步骤。