深度学习调参总结

2017-07-15
一、acc、val_acc停留在一个值附近，上下震荡
今天早上来到实验室 ，看了看昨天跑得结果，很好啊，acc、val_acc同步上升，基本没有甚麽偏差。心中一喜，可是acc还没有超过50%，虽然说在同步上升，但是没有任何卵用。想把程序停下来，但是看着它一会越过50%，一会跌落50%。简直就是就挑逗我，如果我要等，它肯定是会越过50%，但是是一个时间问题，就算是越过50%，也有可能会在55%（just a example）处出现这样的情况。甚麽情况呢，也就是局部最小，停留在局部最小就是说你的lr太小，不足以跳出这个小坑。 这时候你需要把lr调大一点，可以是2倍或者10倍，视情况而定。此时还需要接着观察acc以及val_acc的变化。