CNN调参笔记

一、卷积层weight和bias初始化(Mnist)

weight的mean为0，标准差待定，bias为常数，待定。

 （1）Bias初始化太大（比如0.5，weight std=0.01），则网络loss初始非常大，即使加了BN层使得Loss减小，亦难以收敛。

         我猜测是Bias太大，其在与Feature Map的博弈中，占了绝对上方，特别是多层网络，原始图的特征逐层递减直至消失。

 （2）Bias和weigh较小(比如Bias=0.0,  weight stddev=0.01)，网络可以收敛，但收敛较慢

 （3）Mnist图片反色（即foreground像素值在0这一端，background在255这一端）后收敛速度下降较大（目测2~3倍）。

 （4）Bias=0.1 ,weight stddev=0.1 网络收敛较快。但

看了xavier和he_normal两篇论文，主要是保证feedforward/backpropagation的梯度在传递过程中，每一层分布不变(均值+方差)。

感觉无脑用就好了。(不过测试时，7、8层的网络使用xavier/he_normal效果并不比N(0,0.01))效果更好)

二、Learning Rate

  设置太大无法收敛，比如1e-2。

  ResNet中以0.1为初值训练不知怎么回事。

三、BN层顺序：一个不收敛的例子

当我们采用x->bn