李宏毅机器学习课程梳理【六】：Backpropagation

摘要

利用Logistic Regression做Feature Transformation，并适当叠加层数来构建神经网络。本文介绍Backpropagation这一常见的方法，构建一个反向神经网络，可以高效计算。

1 深度学习理解

• 深度学习第一步：定义函数集，也就是确定神经网络的结构；第二步：定义损失函数；第三步：选出最佳函数。
• 含输入输出的一个激活函数看作一个neuron，我们的工作是手动设计neuron的连接方式，即确定structure
• 最常见的连接方式Fully Connect Feedforward Network
• 一个给定结构的Neuron Network就决定一个function set，如果$\theta$已经全部设定，则为一个function
• 神经网络的计算可以写成做矩阵运算，可以使用GPU加速矩阵运算

2 Backpropagation

2.1 定义

Backpropagation是一个高效地计算梯度下降法中百万级数量的参数的偏微分的方法。

2.2 计算推导

第二步需要计算$L(\theta )=\sum _{n=1}^N{C}^n(\theta )$，第三步需要计算total lost对某一个参数的偏微分$\frac{\partial L(\theta )}{\partial w}=\sum _{n=1}^N\frac{\partial C^n(\theta )}{\partial w}$，将问题转化为算出一笔data的$\frac{\partial C^n(\theta )}{\partial w}$再求和。

根据链式法则$\frac{\partial C}{\partial w}=\frac{\partial C}{\partial z}\cdot \frac{\partial z}{\partial w}$，由于$z=x_1\cdot w_1+x_2\cdot w_2+b$，所以Forward pass$=\frac{\partial z}{\partial w}=x$，只需找到该参数的输入数据。Backward pass相对复杂，示意图如图1所示。

利用链式法则计算$\frac{\partial C}{\partial z}$。
设a为一个neuron的输出，且a同时为下一层neuron的输入，计算$\frac{\partial C}{\partial a}$，如图2所示。

得到$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}]$

求$\frac{\partial C}{\partial z^{\prime }}$和$\frac{\partial C}{\partial z^{\prime \prime }}$：
情况1：$z^{\prime }$与$z^{\prime \prime }$是输出层激活函数的输入，如图3所示。

$\partial C$容易计算
情况2：不是输出层，如图4所示。

类似递归，利用$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}]$公式的原理，一直推导到输出层，求得$\partial C$再代入。

2.3 利用Backpropagation计算

先计算输出层偏微分，再利用公式$\frac{\partial C}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial C}{\partial z^{\prime }}+w_4\frac{\partial C}{\partial z^{\prime \prime }}]$向前计算，如图5所示。

总结：相当于建立一个反向同结构的神经网络

3 总结与展望

文章介绍了Backpropagation这一常见的方法，构建一个反向神经网络，可以高效计算。接下来将对DNN的训练提出一些优化方法，并且进入CNN的学习。