epoch指的是次数,epoch = 10 指的是把整个数据集丢进神经网络训练10次。
batch size 指的是数据的个数,batch size = 10 指的是每次扔进神经网络训练的数据是10个。
iteration同样指的是次数,iteration = 10 指的是把整个数据集分成10次扔进神经网络。
3. 示例
CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。
每个 Epoch 要训练的图片数量:50000
训练集具有的 Batch 个数:50000/256 = 195+1 =196
每个 Epoch 需要完成的 Batch 个数 :196
每个 Epoch 具有的 Iteration 个数:196
每个 Epoch 中发生模型权重更新的次数:196
训练10代后,模型权重更新的次数:196*10 = 1960
同代的训练,其实用的是同一个训练集的数据。第1代和第10代虽然用的都是训练集的五万张图片,但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。
4.
epoch:训练时,所有训练数据集都训练过一次。
batch_size:在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目,通常设为2的n次幂,常用的包括64,128,256。 网络较小时选用256,较大时选用64。
iteration:训练时,1个batch训练图像通过网络训练一次(一次前向传播+一次后向传播),每迭代一次权重更新一次;测试时,1个batch测试图像通过网络一次(一次前向传播)。所谓iterations就是完成一次epoch所需的batch个数
三者之间的关系:Iter = epochs×(sum_photos / batch_size),所以1个epoch包含的iteration次数=样本数量/batch_size;
(iter*batchsize)/sum_photos=epoch
5. 训练加验证集
sum_photos=5692张 epochs = 400
batch_size=64 Iter=35575
batch_size=32 Iter=71150
batch_size=16 Iter=142300
batch_size=8 Iter=284600