Lenet_solver超参数解析

最新推荐文章于 2022-08-01 11:35:06 发布

晴天stick

最新推荐文章于 2022-08-01 11:35:06 发布

阅读量254

点赞数

分类专栏：深度学习文章标签： Lenet 超参数

本文链接：https://blog.csdn.net/qq_42805483/article/details/89461697

版权

本文详细解析了Lenet模型的超参数，包括test_iter与batch_size的关系，学习率设置如base_lr、momentum和weight_decay，以及学习率修改策略如fixed、step、exp等不同方式的工作原理，旨在帮助理解模型训练过程中的参数调整和优化方法。

摘要由CSDN通过智能技术生成

# The train/test net protocol buffer definition   //对训练和测试网络的定义
//网络的路径，可以使用绝对路径或者相对路径
net: "examples/mnist/lenet_train_test.prototxt"   //位置
//test_iter参数定义训练流程中前向传播的总批次数
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
 test_iter: 100  // 进行100次前向计算，test_iter*test batch size =10000
//测试间隔，训练没迭代500次后执行一次测试（测试是为了获得当前模型的训练精度）
# Carry out testing every 500 training iterations.
test_interval: 500
 
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01//初始基础学习率
momentum: 0.9//冲量
weight_decay: 0.0005//正则化系数
# The learning rate policy//学习率修改策略
lr_policy: "inv"
gamma: 0.0001
power: 0.75
//每迭代100次显示一次执行结果
# Display every 100 iterations
display: 100
//最大迭代次数
# The maximum number of iterations
max_iter: 10000
//生成中间结果，记录迭代5000次之后结果，定义caffeModel