【转载 · 神经网络训练】三个基本概念Epoch,Batch,Iteration
大规模的神经网络训练中,一般采用小批量梯度下降的方式。 Batch Epoch Iteration 就是其中的重要的概念。
1.Batch
每次迭代时使用的一批样本就叫做一个Batch,样本的数量称为Batch Size。Batch大小是一个超参数,用于定义在更新内部模型参数之前要处理的样本数。深度学习每一次参数的更新的Loss Function并不是由一个样本得到的,而是由一个Batch的数据加权得到。
2. Iteration
使用Batch Size个样本训练一次的过程叫做一个Iteration。
3
转载
2022-03-06 15:11:04 ·
226 阅读 ·
0 评论