深度学习中的epoch，batch和iteration

名词	定义
epoch	使用训练集的全部数据进行一次完整的训练，称为“一代训练”
batch	使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这一部分样本被称为“一批数据”
iteration	使用一个batch的数据对模型进行一次参数更新的过程，称为“一次训练”

epoch：所有的训练样本都在神经网络中进行了一次正向传播和一次反向传播。
然而，当一个epoch的样本数量可能过于庞大，就需要把它分成多个小块，也就是分成多个batch来进行训练。

batch(批，一批样本)：将训练样本分成若干个batch

batch_size(批大小):每批样本的大小

iteration（一次迭代）：训练一个Batch就是一次Iteration

换算关系：

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch_Size 不同，

梯度下降方式	训练集大小	batch_size	numbers