以Alexnet为例说明solver文件的超参数



solver超参数说明

 

网络模型：Alexnet，分类数1000

数据集：ILSVRC2012，训练集1281167张图像，验证集50000张图像，大小为256*256

参数说明

net：网络定义文件

test_iter：验证集迭代次数，图像数=test_iter*batch_size，例如验证集50000张图像，batch_size为50，则test_iter为1000；训练集batch_size为256，？

test_interval：训练集迭代test_interval次用验证集测试一次网络

base_lr：初始学习率

lr_policy：学习策略，每stepsize之后将学习率乘以gamma

gamma：学习率lr的衰减系数

stepsize：学习率lr的衰减步长，每迭代stepsize次则衰减一次

display：每display次在屏幕上显示一次结果

max_iter：最大迭代次数

momentum：动量，参数更新的权重

weight_decay：权重衰减量

snapshot：每snapshot次保存一次模型

snapshot_prefix：model存放路径前缀

 

名词解释

 

iteration(迭代)：数据进行一次前-后向的训练

batch_size：一批被处理的图像数量

epoch：1个epoch就是将所有的训练图像全部通过网络训练一次。