batchsize:批处理大小。一次训练所选取的样本数。 它的大小影响模型的优化程度和速度。
Iteration:迭代次数。一次Iteration就是batchsize个训练数据前向传播和反向传播后更新参数的过程。
epoch:所有训练数据前向传播和反向传播后更新参数的过程。也就是我们认为的所有数据集跑了一遍。
如果训练集大小是100000。batchsize为100,那么一个epoch需要1000次Iteration。
即:1 epoch = 训练集大小(100000) / batchsize(100) = 1000次Iteration
loss:在训练过程中,训练日志中会输出loss值。这个loss值是每一个Iteration得到的loss值,也就是一个batchsize个训练数据前向传播和反向传播后更新参数的过程之后得到的loss值。
其实每次迭代都会得到一个loss值,只是我们在solver.prototxt中设置了display超参数,隔多少次显示一次。
更简单直接的理解就是, Iteration 0, loss = 0.693502,代表的是没有迭代时的loss, Iteration 1, loss =~~代表的是第一次迭代时的loss,也就是第一个batchsize个训练数据的loss,同理,第50次代表50个batchsize个训练数据的loss。
作者:GL3_24
来源:CSDN
著作权归作者所有。转载请联系作者获得授权。