[Caffe]:关于diff = 0/nan

错误提示

当训练过程出现loss=87.6533时需要注意,你的网络出现问题了.你可以通过在solver.prototxt添加

debug_info:true

来查看训练过程.
网络上对该问题有三种解决方案:
1. label编号从0开始
2. 最后一层的output_num:自己实验数据的类别数
3. 调整base_lr
不巧的是,我一再确认并调小学习率都无法解决这个问题.于是我打印出调试信息,如下:

解决方案

在上图发现反向传播过程中,diff = 0/nan,百思不得骑姐.后来,我借鉴了别人的network并尝试不同的参数初始化,最后整个网络终于work了.

特记此文.
———————————————————我是分割线—————————————————————
最近在看何凯明cvpr2016的Deep Residual Network，里面有提到过这个现象，即所谓的梯度消失或梯度爆炸（vanishing/exploding gradients）。原来很早就有人提出并解决该问题，怪博主知识浅薄。
BN这片文章提出添加BN层可以有效保证反向传播时的梯度正常化。
另外一个方法就是前面提到的通过精心的参数初始化设置避免该问题的发生。
–2016-11-14