caffe 超参数设置

写在前面

caffe的超参数文本是caffe非常重要的一个文件，它是caffe训练网络的一个入口

solver.prototxt

test_iter: 580
test_interval: 4420
base_lr: 0.001
display: 278
max_iter: 88400
lr_policy: "poly"
power: 1.0
momentum: 0.9
weight_decay: 1e-05
snapshot: 8840
snapshot_prefix: "snapshot"
solver_mode: GPU
net: "train_val.prototxt"
solver_type: NESTEROV

参数含义的描述：
test_iter 测试的批次数 test_iter*batch_size = test-data 总测试样本数据。 例如mnist数据集中训练数据50000，测试数据10000，所以我们可以设置batch_size为100，则需要迭代100次才能将10000个数据全部执行完，因此，将test_iter设置为100。执行完一次全部数据，称之为一个epoch。
test_interval 测试间隔，每训练多少次进行一次测试
base_lr 学习率设置
lr_policy 设置策略调整

• fixed:　　 保持base_lr不变
• step: 　　 阶梯衰减 base_lr * gamma ^ (floor(iter / step)) 【需要gamma 和 step】
• exp　　 指数衰减 base_lr * gamma ^ iter 【需要gamma】
• inv　　 倒数衰减 base_lr * (1 + gamma * iter) ^ (- power) 【需要gamma 和 power】
• multistep　　 similar to step but it allows non uniform steps defined by stepvalue
• poly: 　　 polynomial decay
• sigmoid: 　　 sigmoid 衰减