caffe 训练之学习率

今天，自己在用caffe训练alfw的pose数据集时，使用欧几里得loss回归，发现测试的每张图片经过训练的网络，得到的回归值几乎全都一样。刚开始以为数据错了，于是在caffe的data_layer层中将读入的值打印出来，发现没问题；继续将欧几里得loss层的两个bottom输入的值也打印出来，发现在经过几千次迭代后，验证集的预测值几乎都一样，一点点查原因。网络结构、数据都没问题，但是这个现象说明网络根本就没怎么学习，于是看了solver.protxt里面的几个参数，学习率设为0.0001,太小，改成0.01重新训练，刚才的现象没了，而且loss下降的也很快。通过这次，自己也总结了一下caffe训练时，一开始可以把学习率适当调高些，取0.01时比较合适，然后看训练和测试的loss，如果收敛了而且有继续下降的趋势，可以降低学习率继续训，这样模型比一开始就把学习率设那么小效果要好得多。