solver文件个参数

http://www.cnblogs.com/CarryPotMan/p/5343692.html

总结solver文件个参数的意义

iteration： 数据进行一次前向-后向的训练 

batchsize：每次迭代训练图片的数量

 
epoch：1个epoch就是将所有的训练图像全部通过网络训练一次 

例如：假如有1280000张图片，batchsize=256，则1个epoch需要1280000/256=5000次iteration 
它的max-iteration=450000，则共有450000/5000=90个epoch

 
而lr什么时候衰减与stepsize有关，减少多少与gamma有关，即:若stepsize=500, base_lr=0.01, gamma=0.1,则当迭代到第一个500次时，lr第一次衰减，衰减后的lr=lr*gamma=0.01*0.1=0.001,以后重复该过程，所以 
stepsize是lr的衰减步长，gamma是lr的衰减系数。 

在训练过程中，每到一定的迭代次数都会测试，迭代次数是由test-interval决定的，如test_interval=1000，则训练集每迭代1000次测试一遍网络，

而 test_size, test_iter, 和test图片的数量决定了怎样test, test-size决定了test时每次迭代输入图片的数量，test_iter就是test所有的图片的迭代次数，如：500张test图片，test_iter=100，则test_size=5, 而solver文档里只需要根据test图片总数量来设置test_iter，以及根据需要设置test_interval即可。

http://www.mamicode.com/info-detail-1401903.html

支持的lr_policy: 
// - fixed: always return base_lr. 
// - step: return base_lr * gamma ^ (floor(iter / step)) 
// - exp: return base_lr * gamma ^ iter 
// - inv: return base_lr * (1 + gamma * iter) ^ (- power) 
// - multistep: similar to step but it allows non uniform steps defined by 多了一个stepvalue：不同的步数 
// stepvalue 
// - poly: the effective learning rate follows a polynomial decay, to be 
// zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power) 
// - sigmoid: the effective learning rate follows a sigmod decay 
// return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))