06. 训练一个神经网络1-- epoch,batch_size,iteration

最新推荐文章于 2022-03-07 14:33:51 发布
最新推荐文章于 2022-03-07 14:33:51 发布
阅读量1.1k 收藏
点赞数
分类专栏： cs231n
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panxiaoxie/article/details/79567444
版权
本文介绍了神经网络训练中的关键概念：epoch、batch_size和iteration。epoch是指整个数据集进行一次前向和反向传播，batch_size是每个批次的样本数量，而iteration是完成一个epoch所需的批次数。讨论了如何根据数据量确定batch_size，并指出在大量样本时通常使用mini-batch梯度下降，batch_size常选64、128、256或512。
摘要由CSDN通过智能技术生成
  • batch_size, iteration, epoch

1. 训练数据集的喂入：batch_size, iteration, epoch

1.1. 首先需要先了解下梯度下降

gradient_descent.gif

梯度下降是一种迭代优化算法，用于寻找最佳结果，loss的最小值。

迭代意味着我们需要多次得到结果才能得到最优的结果。 梯度下降的迭代质量有助于拟合图形使图形最适合数据。

左图中我们可以看到步长(又称学习率)越来越小,也就是学习率衰减啦.并且参数p沿着梯度减小的方向变化,loss或者cost越来越小~
右图中我们可以看到曲线对数据的拟合效果越来越好~~在神经网络中可以看作参数构成的前向传播的函数~

在梯度下降中,需要将数据与参数结合,计算得到loss.然后我们要让loss沿着梯度下降的方向逐渐减小. 从而这样反向推导参数dW,db应该如何变化~
但是当数据量很大时,数据不能一次性传递给计算机进行计算,这样就需要epoch, batch_size, iteration这样的术语了~

epoch:

One Epoch is when an ENTIRE dataset is passed forward and backward through the neural network only ONCE.

epoch是整个数据集完成一次前向和反向传播.

因为数据集太大,一次性传递给计算机需要太大计算量,所以将数据集divide成很多batch.

那么我们需要多少次epoch呢?这个没有准确的答案,这个跟数据有关系~

batch_size

整个数据集被分成很多batch,一个batch的样本数量就是batch_s

最低0.47元/天 解锁文章
潘小榭
关注
专栏目录
神经网络中episode、epoch、iteration、batch_size的理解
深入浅出讲透复杂深奥的问题
07-13 1775
epoch、bath_size、iteration、episode在DNN中的解释： 1、epoch： one forward pass and one backward pass of all the training examples, in the neural network terminology，重点就是所有的训练数据都要跑一遍。假设有6400个样本，在训练过程中，这6400个样本都跑完了才算一个epoch。一般实验需要训练很多个epoch，直到LOSS稳定后才停止。 2、batch_size：
pytorch读取自己的数据集_给训练踩踩油门 —— Pytorch 加速数据读取
weixin_39870155的博客
11-21 1182
需求最近在训练 coco 数据集，训练集就有 11 万张，训练一个 epoch 就要将近 100 分钟，训练 100 个 epoch，就需要 7 天！这实在是太慢了。经过观察，发现训练时 GPU 利用率不是很稳定，每训练 5 秒，利用率都要从 100% 掉到 0% 一两秒，初步判断是数据读取那块出现了瓶颈。于是经过调研和实验，制定了下列解决方案。解决方案（1）prefetch_generator使...
【什么是epoch、batch、batchsize、iteration？什么是真实框、预测框和锚框】
qq_29960631的博客
03-07 6400
1、几句话搞懂什么是epoch、batch、batchsize、iteration 2、几句话搞懂目标检测中的边界框、真实框、预测框和锚框
Iterations
03-25
迭代次数 一个可以帮助人们进行迭代创作过程的创造力应用程序。 关于 迭代是一种帮助您产生想法的新方法。 创造性的方法论通常将发散的思维（应用刺激产生潜在的结果）和趋同的思维（将事实和数据结合在一起并应用逻辑）相结合。 迭代通过提供有关如何处理输出的建议来帮助发散思维。 它们可作为您过程中的一组吉他效果踏板。 有一个输入，可以应用于此输入的一组歧义指令，以及由这些效果创建的不确定的输出。 用外行的话来说：您想出一个主意，然后画一张卡片。 然后根据您对卡片的内容做出的解释来创建一个新的想法。 然后再画一张卡。 根据卡片上的内容提出另一个新想法。 重复一遍。 结果可以将迭代路径引向标准创意产生通常无法达到的新的和创新的路径。
iteration 与 epoch
gzdrn的博客
03-16 2132
神经网络的神奇之处就在于权重是通过训练自动得出的。所谓训练，就是让神经网络在训练数据集上跑一遍，看看损失函数的值怎么样。如果损失函数的值足够小，小到符合我们的需求，那就说明神经网络拟合得很好了，训练大功告成了（实际上并非如此，因为仅仅知道拟合得很好并不够，我们还要知道神经网络是不是拟合得太好了，也就是过拟合。所以还需要用测试数据集来测试是否过拟合。不过这里就姑且就当训练完成了把。）反之，如果损失函...
关于深度学习的 batch、iteration 和 epoch
淋曦的进击手记
12-14 234
假设整个数据集的图片用 dataSet 表示。 把 dataSet 的图片都训练一遍，就叫一个epoch。 又可以将整个 dataSet 分成几批去训练，每一批的数量就是 batch。 而把 batch 的图片都训练一遍，就叫一个iteration。 有这样的对应关系： dataSetepoch batchiteration 并且有： iteration * batch = dataSet 的等...
了解深度学习batch_size，iteration，epoch概念
我是天才很好
06-30 597
（1）epoch：1个epoch等于使用训练集中的全部样本训练一次。 （2）iteration：表示1次迭代，每次迭代更新1次网络结构的参数，1个iteration等于使用batchsize个样本训练一次； （3）batch_size：批大小，即1次迭代所使用的样本量。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； 在深度学习领域中，常用随机梯度下降算法（Stochastic Gradient Descent, SGD）训练深层结构，它有一个好处就是并不需要遍历全部的
深度学习模型训练的时候，一般把epoch设置多大？深度模型中的超参数要如何调整？模型训练的诸多问题？
Everyday try to become better -Kobe Bryant
11-17 4010
1机器学习模型评估混淆矩阵、ROC曲线和AUC以及PR曲线、以及用学习曲线判断过拟合 https://blog.csdn.net/qq_27575895/article/details/81476871
神经网络Batch size，Iteration，Epoch的理解
weixin_41089007的博客
10-14 1031
Batch size：一次放入模型训练的样本数，batch_size将影响到模型的优化程度和速度。 为什么要有batch size：batch size的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 相对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致underfitting。 增大Batch_Size，相对处理速度加快，所需内存容量增加（epoch的次数...
Pytorch：关于epoch、batch_size和batch_idx（iteration ）的一些理解（深度学习）
鳄鱼的博客
07-15 1万+
前言 在新手搭建神经网络时，常弄不清epoch、batch_size、iteration和batch_idx（iteration ）的区别。 这里以torchvision自带的CIFAR10数据集来举例，通过代码操作来直观地对这几个概念进行理解。 声明，这里batch_idx==iteration。 数据准备 首先加载数据集： import torch import torch.nn as nn import torchvision train_dataset = torchvision.datasets
keras中epoch,batch,loss,val_loss相关概念
audio_algorithm的博客
04-23 1万+
1、epoch Keras官方文档中给出的解释是：“简单说，epochs指的就是训练过程接中数据将被“轮”多少次” （1）释义： 训练过程中当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch，网络会在每个epoch结束时报告关于模型学习进度的调试信息。 （2）为什么要训练多个epoch，即数据要被“轮”多次 在神经网络中传递完整的数据集一次是不够的，对于有限的...
steps_per_epoch=2000,epochs=100之间的区别
Kp0fS的草稿纸
07-27 2万+
第一种解释： batchsize：中文翻译为批大小（批尺寸）。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； iteration：中文翻译为迭代，1个iteration等于使用batchsize个样本训练一次； 一个迭代 = 一个正向通过+一个反向通过 epoch：迭代次数，1个epoch等于使用训练集中的全部样本训练一次； 一个epoch = 所有训练样...
Caffe:深度学习中 epoch，batch size, iterations的区别
GVFDBDF的专栏
09-17 6567
转自：http://blog.csdn.net/qq_18515405/article/details/51821125 在大部分深度学习架构中都抛不开三个概念epoch，[batch size], iterations；接下来就对这三个概念逐一解释一下 one epoch：所有的训练样本完成一次Forword运算以及一次BP运算 batch size：一次Forword运算以及BP运算中所需要的训
深度学习中为什么要使用多于一个epoch?
Machine Learning with Tutors
11-25 2万+
我的机器学习教程「美团」算法工程师带你入门机器学习 已经开始更新了，欢迎大家订阅~ 任何关于算法、编程、AI行业知识或博客内容的问题，可以随时扫码关注公众号「图灵的猫」，加入”学习小组“，沙雕博主在线答疑~此外，公众号内还有更多AI、算法、编程和大数据知识分享，以及免费的SSR节点和学习资料。其他平台（知乎/B站）也是同名「图灵的猫」，不要迷路哦~ 什么是...
cs231n assignment1 two layer net作业
AIpush的博客
08-15 787
from __future__ import print_function import numpy as np import matplotlib.pyplot as plt class TwoLayerNet(object): """ A two-layer fully-connected neural network. The net has an input dimensio...
深度学习-2
weixin_43139613的博客
09-16 1027
Jupyter Notebook 深度学习2 最后检查: 上星期二09:41 (自动保存) Current Kernel Logo Python 3 File Edit View Insert Cell Kernel Widgets Help import sys , os import sys , os sys.path.append(os.pardir) sys.path.append(os....
深度学习笔记---误差反向传播法版 对MNIST数据集的二层神经网络的学习实现
weixin_44711653的博客
01-31 1146
# 1.神经网络的学习前提和步骤 前提 神经网络存在合适的权重和偏置。 步骤一（挑选mini-batch） 从训练数据中随机选出一部分数据，这部分数据称为mini-batch。 我们的目标是减少mini-batch这部分数据的损失函数的值。 步骤二（计算梯度） 为了减小mini-batch这部分数据的损失函数的值，需要求出有关各个权重参数的梯度。 步骤三（更新参数） 将权重参数沿梯...
谈谈深度学习中的 Batch_Size
热门推荐
程引的专栏
11-12 13万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
训练集batch_size
最新发布
08-22
训练集的batch_size是指在训练神经网络时，每次输入神经网络的样本数量。这个参数可以根据具体需求进行调整。在引用中提到了mnist数据集选择了一个batch_size大小为100的训练样本。所以，训练集的batch_size为100。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [深度学习 | 三个概念：Epoch, Batch, Iteration](https://blog.csdn.net/weixin_45798684/article/details/105549286)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [keras 两种训练模型方式详解fit和fit_generator(节省内存)](https://blog.csdn.net/liming89/article/details/110507137)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值