【cs231n】lecture4 Backpropagation and Neural Network

反向传播

本节内容：如何计算任何复杂函数的解析梯度，需要用到一个计算图的框架。

计算图：用图来表示任何函数，图中的节点表示我们要执行的每一步计算。例如下图：输入x和W，进行矩阵相乘得到一个得分向量，通过hinge loss计算Li，R计算一个正则项，最后的L是损失项和数据项的和。

利用计算图进行Backpropagation：反向传播是链式法则的递归调用。

第一步计算正向传播：引入中间变量q，计算每一个变量的偏导数。

第二步使用链式法则：

例子：

注意：计算图的分解不是固定的，可以自己定义每个节点的本地运算。
思考：
add gate：梯度不变，将梯度传递给两个分支
max gate：相当于梯度路由器，将梯度传递给较大值的分支，另一个分支的梯度为0
mul gate：相当于梯度转换器，将梯度转换为另外一个变量的值

当输入是一个向量时，梯度是一个雅可比矩阵，矩阵中的每个元素都是输出对输入求偏导，例如：

神经网络

神经网络就是由简单函数构成的一组函数，将这些简单函数在顶层堆叠，构成一个更复杂的非线性函数。

激活函数：就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。如果不使用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机；使用了神经元的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。
常用的激活函数：

全连接层：每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。如下图所示