Darknet中cfg文件参数详解

1. cfg文件参数解释

以YOLO v3为例详细解释cfg文件各参数的含义：

[net]	#[xxx]开始的行表示网络的一层，其后的内容为该层的参数配置，[net]为特殊的层，配置整个网络
# Testing	#测试模式  #初始batch参数要分为两类，分别为训练集和测试集，不同模式相应放开参数
batch=1
subdivisions=1
# Training	#训练模式 每次前向图片的数目=batch/subdivisions
# batch=64	#batch:一批训练样本的样本数量. 每batch个样本更新一次参数

# subdivisions=16	#关于batch与subdivision：在训练输出中，训练迭代包括8组，这些batch样本又被平均分成subdivision=8次送入网络参与训练，以减轻内存占用的压力
			#batch越大，训练效果越好，subdivision越大，占用内存压力越小
			#batch/subdivisions作为一次性送入训练器的样本数量
			#如果内存不够大，将batch分割为subdivisions个子batch
			#（subdivisions相当于分组个数，相除结果作为一次送入训练器的样本数量）
			 #注意：上面这两个参数如果电脑内存小，则把batch改小一点，batch越大，训练效果越好
			 #Subdivisions越大，可以减轻显卡压力（分组数目越多，每组样本数量则会更少，显卡压力也会相应减少）
			 	
width=416	 #网络输入的宽
height=416	 #网络输入的高
channels=3	 #网络输入的通道数
			 #这三个参数中，要求width==height, 并且为32的倍数，大分辨率可以检测到更加细小的物体，从而影响precision
			 #以上三个参数为输入图像的参数信息 width和height 影响网络对输入图像的分辨率，从而影响precision，只可以设置成32的倍数（由于使用了下采样参数是32，所以不同的尺寸大小也选择为32的倍数{320，352…..608}，最小320*320，最大608*608，网络会自动改变尺寸，并继续训练的过程。）
			 
momentum=0.9	#动量，影响梯度下降到最优的速度，一般默认0.9
				#DeepLearning中最优化方法中的动量参数，这个值影响着梯度下降到最优值得速度 
				#注：SGD方法的一个缺点是其更新方向完全依赖于当前batch计算出的梯度，因而十分不稳定。Momentum算法借用了物理中的动量概念，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。这样一来，可以在一定程度上增加稳定性，从而学习地更快，并且还有一定摆脱局部最优的能力

decay=0.0005	#权重衰减正则系数，防止过拟合, 正则项往往有重要意义
				#增加样本的数量，改变基础样本的状态. 增加样本整体的数量减少过拟合
angle=0	#旋转角度，从而生成更多训练样本 
saturation = 1.5	#调整饱和度，从而生成更多训练样本
exposure = 1.5	#调整曝光度，从而生成更多训练样本
hue=.1	#调整色调，从而生成更多训练样本

learning_rate=0.001	#学习率 ，决定了权值更新的速度. 学习率大，更新的就快，但太快容易越过最优值; 而学习率太小又更新的慢，效率低.
					#一般学习率随着训练的进行不断更改，先高一点，然后慢慢降低，一般在0.01--0.001
					#学习率决定着权值更新的速度，设置得太大会使结果超过最优值，直接错过最优值，震荡回去，太小会使下降速度过慢，导致收敛过慢。
					#如果仅靠人为干预调整参数，需要不断修改学习率。刚开始训练时可以将学习率设置的高一点，而一定轮数之后，将其减小。
					 #在训练过程中，一般根据训练轮数设置动态变化的学习率。
					 #[基本训练守则]
					 #刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
					 #一定轮数过后：逐渐减缓
					 #接近训练结束：学习速率的衰减应该在100倍以上。
					 
					 
burn_in=1000	#学习率控制的参数，在迭代次数小于burn_in时，其学习率的更新有一种方式，大于burn_in时，才采用policy的更新方式
max_batches = 500200	#迭代次数，1000次以内，每训练100次保存一次权重; 1000次以上，每训练10000次保存一次权重; 训练达到max_batches后停止学习
policy=steps	#学习率策略，学习率下降的方式
				#这个是学习率调整的策略，有policy：constant, steps, exp, poly, step, sig, RANDOM，constant等方式
				#constant: 保持学习率为常量，caffe里为fixed
				#steps: 比较好理解，按照steps来改变学习率
				
steps=400000,450000	 #学习率变动步长 #Steps和scales相互一一对应, 这两个参数是设置学习率的变化, 根据batch_num调整学习率
scales=.1,.1	#学习率变动因子
				#如迭代到40000次时，学习率衰减十倍; 45000次迭代时，学习率又会在前一个学习率的基础上衰减十倍

[convolutional]	#卷积层
batch_normalize=1	 #BN,  是否做BN归一化操作
filters=32	#卷积核数目,  输出特征图的数量
size=3	#卷积核尺寸
stride=1	#做卷积运算的步长
pad=1	 #如果pad为0,padding由padding参数指定
		 #如果pad为1，padding大小为size/2，padding应该是对输入图像左边缘拓展的像素数量
activation=leaky	#激活函数类型: logistic，loggy，relu，elu，relie，plse，hardtan，lhtan，linear，ramp，leaky，tanh，stair

# Downsample	#以下为训练网络结构

[convolutional]
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=32
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky

[shortcut]	#shotcut层配置说明。shortcut部分是卷积的跨层连接，就像Resnet中使用的一样
			 #借鉴了resnet网络的shortcut方式可以加深网络
			 #输入与输出：输入与输出一般保持一致，并且不进行其他操作，只是求差。
			 #处理操作：res层来源于resnet，为了解决网络的梯度弥散或者梯度爆炸的现象，提出将深层神经网络的逐层训练改为逐阶段训练，将深层神经网络分为若干个子段，每个小段包含比较浅的网络层数，然后用shortcut的连接方式使得每个小段对于残差进行训练，每一个小段学习总差（总的损失）的一部分，最终达到总体较小的loss，同时，很好的控制梯度的传播，避免出现梯度消失或者爆炸等不利于训练的情形。			 
			 
from=-3	#参数from是−3，意思是shortcut的输出是通过与先前的倒数第三层网络相加而得到, 跨越连接
activation=linear

# Downsample

[convolutional]
batch_normalize=1
filters=128
size=3
stride=2
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=64
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky

[shortcut]
from=-3
activation=linear

[convolutional]
batch_normalize=1
filters=64
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky

[shortcut]
from=-3
activation=linear

# Downsample

[convolutional]
batch_normalize=1
filters=256
size=3
stride=2
pad=1
activation