Epoch
:模型对整个数据集进行一次前向计算以及反向传播的时间。
Batch
:由于GPU的显存限制,模型无法一次性读取并计算所有的数据,因此可以将整个数据集分成多个Batch,喂给模型进行计算,Batch的大小就是**Batch_Size
**,通常是一个模型进行训练的超参数。
Iterations
:模型对一个Batch的数据进行一次前向计算以及反向传播的时间。
三者之间的关系:
Iterations
=
Num_Data
B
a
t
c
h
_
S
i
z
e
\text{Iterations} = \frac{\text{Num\_Data}}{Batch\_Size}
Iterations=Batch_SizeNum_Data