深度学习: Epoch、batchsize、iterations 是什么?

        Epoch(英文:时代,阶段;一波,一轮)

一个epoch , 表示: 所有的数据送入网络中, 完成了一次前向计算 + 反向传播的过程。

由于一个epoch 常常太大, 分成 几个小的 baches .

将所有数据迭代训练一次是不够的, 需要反复多次才能拟合、收敛。在实际训练时、 将所有数据分成多个batch , 每次送入一部分数据。随着epoch 数量的增加, 权重更新迭代的次数增多, 曲线从最开始的不拟合状态, 进入优化拟合状态, 最终进入过拟合。

(就像榨甘蔗,一节分成好几节,所有几节榨完一轮,就叫一个epoch)

        epoch(这根甘蔗一共榨多少次汁) 如何设置: 大小与数据集的多样化程度有关, 多样化程度越强, epoch 越大。

        batchsize:

每个batch 中: 训练样本的数量。

batch size 大小的选择也很重要, 最优化网络模型的性能+速度。

当数据量较小, 计算机可以承载只有1个batch 的训练方式时, 收敛效果会好。

mini-batch : 将所有数据分为若干个batch , 每个batch 包含一部分训练样本。

        iterations:

完成一次epoch 需要的batch 个数

batch numbers 就是 iterations ,即iterations=数据总数/ batch_size

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值