反向传播精讲

神经网络由layer级联而成
每个layer的正向运算过程都有清晰的定义。它们或包含有学习能力的参数，或纯粹包含运算逻辑
所有基础的Layer都归属于以下三种：

1. 卷积
2. 全连接，其实，全连接从计算的角度上看就是特殊的卷积。m$\to$n的全连接层其实是：包含n个1$\ast$ 1$\ast$m的卷积核的卷积层
3. 激活
4. 池化

通常来说，卷积、激活、池化中的卷积和激活包含可学习的参数，池化只包含纯粹的运算逻辑；

神经网络的训练其实就是所有层中可学习的参数的更新。（网络是不是可以自己判断效果自己增长呢？）在每个batch后会更新所有的参数。

介绍一下网络参数更新的原理：
一旦定义了Loss Function，每个参数就都有了负梯度方向，为什么参数是按组更新呢？比如说卷积核的更新就是同时更新所有的核，这是实现过程的一种选择，为什么不逐个更新核中的参数呢，因为逐个更新使用的方向和同时更新使用的方向是一致的，核中不同位置的参数又是相互正交的，在同一个batch中进行更新，逐个更新一个卷积核中的参数和同时更新该卷积核中所有参数得到的结果是一样的。

那么向负梯度方向走多长呢？走的长度和Loss、以及学习率lr的设置有关

OK，现在开始本文最重要的内容，如何获得负梯度方向。
通过真实的数学推导可以看到，梯度是可以随着运算传递的。