NVIDIA DIGITS 学习笔记（参数）

本文主要记录了NVIDIA DIGITS的参数设置方法及其与Caffe中的参数的对应关系。

---

---

数据集

手写体MNIST数据集的原始数据格式为：png，每幅图像大小为：$28\times28$，包含70K个手写体数字，共10类，其中60K为训练用样本（train+val），10K的测试样本（test）。本例中，从训练样本中随机抽取25%的数据作为验证集（val），使用digits生成的数据信息如下：

数据集属性	值
Image Type	Grayscale
Image Encoding	png
Image Dimensions	$28\times28$
Number of Categories	10
Number of Training Images	45002
Number of Validation Images	14998(25% of 60000)
Number of test Images	10000

模型参数

模型选择LeNet（Original Paper 1998）

Solver Options	意义	示例值	solver.prototxt	计算
Training epochs	训练代数：将训练用数据反复送入网络训练的次数	30	max_iter	（Training epochs）×（$num_{trainsamples}/batchsize_{train})$），如30*(45002/64)=21120
Snapshot interval (in epochs)	快照间隔：是指训练多少代后进行一次快照记录	1	snapshot	$(num_{trainsamples}/batchsize_{train})\times(Snapshot interval)$，如：（45002/64）*1=704
Validation interval (in epochs)	验证间隔	1	test_interval	$(num_{valsamples}/batchsize_{test})*(Validation interval)$，如：（14998/100）*1=150
Random seed	权重随机初始化种子	[none]	-	-
Batch size	批处理大小	[network defaults]，网络默认值，训练：64，测试100	-	-
Solver type	优化方法	Stochastic Gradient Descent （SGD）	solver_type	SGD
Base Learning Rate	学习率	0.01	base_lr	0.01
Policy	学习率策略	Step Size	lr_policy	“step”
Step Size	步长	33%	stepsize	max_iter*Step Size，如：21120×33%=6970
Gamma	Gamma参数	0.1	gamma	0.1

DIGITS中的错误

在模型中，对于 LeNet模型，其网络参数有一个小错误，就是Softmax前面的那一层的输出为10而不是0，可以点击Customize修改，下图左是直接可视化的DIGITS的LeNet，右图是将Caffe中MNIST例子中的LeNet.prototxt文件内容直接复制到DIGITS的Customize中可视化后的结果：