Caffe入门（4）——Forward and Backward

2016/9/13

Forward前向和Backward反向通道是深度网络必须的计算流程。

前向通道根据输入计算输出，过程是自底（bottom）向顶（top）的。

反向通道根据学习的损失计算梯度，在反向通道中，Caffe反向组合每一层的梯度来计算整个模型的梯度，这个过程是自顶（top）向底（bottom）的。

反向通道计算从损失开始计算最后一个计算层的导数，模型剩余的其他导数将通过链式法则逐层计算，使用适当的最优化方法，使整个网络的参数逐渐更新。

这些计算在定义模型之后立即开始。Caffe可以为我们安排并且实施这些计算。

Net::Forward()和Net::Backward()方法执行各自的通道操作而 Layer::Forward()和Layer::Backward()执行注步计算。
每一层都含有forward和backward方法来按模式（mode：cpu，gpu）计算。一个层可以只使用CPU或者GPU模式。

解决器（Solver）通过以下过程优化模型：首先调用前向通道计算输出和损失，然后调用反向通道得到模型的导数，之后按权重合并这些导数更新模型以期最小化损失。Solver，Net，Layer的分离使得Caffe非常模块化且利于开发。

参考文献：http://caffe.berkeleyvision.org/tutorial/forward_backward.html