caffe-BN层

原作者：http://shuokay.com/2016/05/28/batch-norm/

 

 来源于：http://www.bubuko.com/infodetail-1983557.html

 什么是moving average滑动平均？

计算方法：对于一个给定的数列，首先设定一个固定的值k，然后分别计算第1项到第k项，第2项到第k+1项，第3项到第k+2项的平均值，依次类推。

在采用随机梯度下降算法训练神经网络时，使用 tf.train.ExponentialMovingAverage 滑动平均操作的意义在于提高模型在测试数据上的健壮性（robustness）。

. 滑动均值滤波（MovingAverage）

方法：

把连续取N个采样值看成一个队列，队列的长度固定为N，每次采样到一个新数据放入队尾，并扔掉原来队首的一次数据.(先进先出原则)。把队列中的N个数据进行算术平均运算，就可获得新的滤波结果。

转载于:https://www.cnblogs.com/LiuSY/p/7240480.html