solver参数说明

# The train/test net protocol buffer definition 

net:"examples/mnist/lenet_train_test.prototxt"        //网络协议具体定义 

 

# test_iter specifies how many forward passes the testshould carry out. 

# In the case of MNIST, we have test batch size 100and 100 test iterations, 

//batch_size就是你的网络一次正向传播处理的输入样本数量,

//test_iter就是当在TEST阶段时,要进行多少次迭代,即进行test_iter次正向传播

//当在TEST阶段时,会进行test_iter次迭代,每次迭代都是batch_size个输入样本

//所以总共会处理test_iter * batch_size个样本。

//在测试时,应该保证batch_size*test_iter>=测试图片数,

//比如:2w测试图片,迭代次数为50时,batch_size等于1就意味着只处理了50张图片

//比如,test_iter为 100,batch_size =100,则100张图一批,训练100次,

//这样一共覆盖了10000张图

# covering the full 10,000 testing images. 

test_iter: 100       //test迭代次数     

 

 

 

# Carry out testing every 500 trainingiterations.   

//训练迭代500次,测试一次 ,即每迭代500次测试一次,输出一次精度和LOSS  

test_interval: 500           //训练迭代500次,测试一次 

 

 

 

 

 

# The base learning rate, momentum and the weightdecay of the network. //网络参数:学习率,动量,权重的衰减 

base_lr: 0.01

 

 

 

//随机梯度下降(SGD)是按batch来进行更新,通常来说下降速度比较快,就容易震荡。

//引入momentum,就是在更新下降方向的时候不仅要考虑到当前的方向,也要考虑到上一次的更新方向,两者加权,

//某些情况下可以避免震荡。momentum(冲量),就是上一次更新方向所占的权值。

//一个小的trick是,当刚开始训练的时候,把冲量设小,或者直接就置为0,然后慢慢增大冲量,有时候效果比较好。

momentum: 0.9 

 

 

 

 

//神经网络权值越大往往overfitting的程度越高,为了避免出现overfitting,会给误差函数添加一个惩罚项

//常用的惩罚项是所有权重的平方乘以一个衰减常量之和。


 

//右边项即用来惩罚大权值。权值衰减惩罚项使得权值收敛到较小的绝对值,而惩罚大的权值。从而避免overfitting的出现。

weight_decay: 0.0005 

 

# The learning rate policy       //学习策略:有固定学习率和每步递减学习率

只要是梯度下降法来求解优化,都会有一个学习率,也叫步长。base_lr用于设置基础学习率,在迭代的过程中,可以对基础学习率进行调整。怎么样进行调整,就是调整的策略,由lr_policy来设置。

lr_policy可以设置为下面这些值,相应的学习率的计算为:

·         

·        -fixed:   保持base_lr不变.

·        -step:    如果设置为step,则还需要设置一个stepsize,  返回 base_lr * gamma ^(floor(iter / stepsize)),其中iter表示当前的迭代次数

·        - exp:    返回base_lr * gamma ^ iter, iter为当前迭代次数

·        - inv:      如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma* iter) ^ (- power)

·        -multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据  stepvalue值变化

·        -poly:     学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)

·        -sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 +exp(-gamma * (iter - stepsize))))

 

 

lr_policy: "inv"

gamma: 0.0001 

power: 0.75 


 

 

# Display every 100 iterations      //每迭代100次显示一次  

display: 100 

 

 

 

# The maximum number of iterations   //最大迭代次数 

max_iter: 10000 

 

 

 

# snapshot intermediate results   

// 每5000次迭代存储一次数据,路径前缀是<</span>spanstyle="font-family: Arial, Helvetica,sans-serif;">examples/mnist/lenet</</span>span> 

snapshot: 5000 

snapshot_prefix: "examples/mnist/lenet" 

 

 

solver_mode: CPU //设置模式CPU或者GPU  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值