Epoch:1个epoch即将训练集全部样本训练一次,几次epoch就是整个数据集被轮几次
Batch Size:数据集中全部数据是分批来训练的,批的大小称为Batch Size
iteration:1个iteration等于使用batchsize个样本训练一次,也就是说训练一批的样本,称为一次迭代
比如训练集有500个样本,batchsize = 10 ,那么训练完整个样本集:iteration=50,epoch=1.
batch: 深度学习每一次参数的更新所需要损失函数是由一组数据加权得到的,这一组数据的数量就是batchsize。
随机梯度下降
List item
算法:只用某个随机样本做梯度下降
批量梯度下降算法:使用全部样本做梯度下降算法
小批量梯度下降算法:使用固定样本容量的数据做梯度下降算法
batchsize最大是样本总数N,此时就是Full batch learning;最小是1,即每次只训练一个样本(在线学习Online Learning)