caffe中网络参数更新总结

    前面已经总结了caffe中的foward和backward的过程，最后可以得到代价函数相对于网络中的每一个参数的梯度，接下来就要利用梯度对网络参数进行更新。

    网络参数的更新就是网络学习罪关键的一个过程，怎么利用梯度对参数更新也是一个很重要的问题。对深度学习网络的优化也大多在这一方面，对网络参数的更新一般会遇到下面的问题：第一，简单的网络参数更新网络可能导致网络不够generalized，简单的更新方式就是利用梯度和事先规定的学习速率对网络参数进行修正，这样的方式会导致学习的网络在训练样本之外不够适用，即generalization不能很好实现；第二，不当的网络参数更新方式回导致网络学习过慢，网络学习都是以梯度为基础的，如果梯度过小，就会导致网络学习过慢，所以应该构造出有效的网络参数更新方式，加快学习速率。第三，对于网络中的不同参数，分配不同的学习速率可能会使网络学习的效果更好，而且我们也希望学习速率能根据训练进行自适应的调整。

    综上，在参数更新中我们要解决两个问题：让网络更generalized和让网络能更快地学习。

    下面看一下caffe中lenet网络的参数更新过程，lenet是采用在线学习的方式，即stochastic gradient learning；同时又是才应mini-batch的形式。原始的stochastic gradient learning都是每输入一个样本，都会更新网络参数，而mini-batch的形式是每训练一定数量的样本，然后根据这些样本的梯度均值对参数更新，关于stochastic learning的优点在另一篇文章里有总结。在backward过程获得梯度之后，更新网络参数在lenet中分以下几步，caffe中的程序如下：