python训练模型、如何得到模型训练总时长_模型训练时间的估算

最新推荐文章于 2024-07-02 11:45:31 发布
最新推荐文章于 2024-07-02 11:45:31 发布
阅读量6.4k 收藏 1
点赞数 1
文章标签： python训练模型、如何得到模型训练总时长
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39837207/article/details/111442442
版权
本文介绍了如何通过已知的训练指标（如global_step/sec, examples/sec, Num examples, Batch size, Num steps和Epoch）来估算模型训练的总时长，特别是对于BERT模型在CPU上的训练。通过计算得出，每个迭代大约需要3小时24分钟，而整个训练过程可能需要34小时7分钟。此外，还提供了一个将秒数转换为时间长度的函数getSpanTimes。" 118366234,9823648,Golang计算ASCII字符串中不同字符个数,"['Golang编程', '字符操作', '数据结构与算法']
摘要由CSDN通过智能技术生成

模型训练时间的估算

昨天群里一个朋友训练一个BERT句子对模型，使用的是CPU来进行训练，由于代码是BERT官方代码，并没有显示训练需要的总时间，所以训练的时候只能等待。他截图发了基本的信息，想知道训练完整个模型需要多久。

最开始跑BERT模型的时候，我也碰到这个问题，当时没有深入研究，

不过后来换成keras，bert4keras等框架，可以直接输出时间，比较直观，也就忽略了这个问题。这次回过头来重新理一理，也算温故知新。

话不多说，截图如下：

基础量

先整理一下截图中已知的量：

global_step/sec = 0.204125

表示每秒训练多少个batch批次；

examples/sec = 3.26599

表示每秒可以训练的样本数量 ；

Num examples = 40127

表示样本的总数量

Batch size = 16

表示一批次有多少个样本；

Num steps = 25079

表示总共有多少步(批次)

Epoch = 10

迭代次数，即所有样本训练的次数

迭代次数Epoch没有在截图里，但是可以这样推算：

Epoch = Num steps * Batch size / Num exa

最低0.47元/天 解锁文章
weixin_39837207
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python训练模型、如何得到模型训练总时长_各个常用机器学习模型的训练时间比较...
weixin_39831503的博客
12-16 2733
知乎视频​www.zhihu.com越来越觉得模型的速度非常重要, 一般来说, 模型的性能瓶颈在"训练"这个阶段. 因此, 只要比较训练时间就可以了.很多"精妙"的模型, 因为速度慢的原因, 难以应用, 或者使用成本非常高.先给出结果, 计算过程在下文中详细说明, 测试的模型以scikit-learn的模型为主, 还包括lightgbm里面的模型, 读者如果对其他模型有兴趣的话, 可以使用本文给...
pytorch 测量模型运行时间，GPU时间和CPU时间，model.eval()介绍
tony365的博客
05-15 9103
我们知道，在pytorch中，模型有两种模式可以设置，一个是train模式、另一个是eval模式。model.train()的作用是启用 Batch Normalization 和 Dropout。在train模式，Dropout层会按照设定的参数p设置保留激活单元的概率，如keep_prob=0.8，Batch Normalization层会继续计算数据的mean和var并进行更新。model.eval()的作用是不启用 Batch Normalization 和 Dropout。
yolov5实战分析
weixin_63528244的博客
03-20 401
pre-process：图像预处理时间，包括图像保持长宽比缩放和padding填充，通道变换（HWC->CHW）和升维处理等；inference：推理速度，指预处理之后的图像输入模型到模型输出结果的时间；NMS ：你可以理解为后处理时间，对模型输出结果经行转换等；FPS=1000ms除以这三个时间之和。获得模型的推理时间（或者说FPS）
python之数据模型训练过程详解
最新发布
创作不易，请多支持，将为本站提供更多「有价值的文章」。
07-02 757
当涉及使用Python进行深度学习和神经网络训练时，整个过程可以分为几个关键步骤。这里我会详细解释每个步骤的主要内容和如何实施。
python计算模型每一次迭代（epoch）的时间，并将其通过pandas模块导出到excel文件
kuaixiao0217的博客
05-09 2086
python计算模型每一次迭代（epoch）的时间，并将其通过pandas模块导出到excel文件
模型训练时间计算
Billie使劲学的博客
07-14 1063
记录当前时间，或者用 time.perf_counter() ，精度更高记录结束时间计算时间差处理时间格式方法返回浮点数 time 的四舍五入值；
python 代码运行时间获取方式详解
09-24
主要介绍了python 代码运行时间获取方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
tensorflow如何查看模型训练时间
qq_44174803的博客
04-05 4337
使用下述代码便能查看从模型最初到当前epoch所花费的训练时间 from datetime import datetime import tensorflow as tf import matplotlib.pyplot as plt # 回调——————打印总训练时间（从最初到当前epoch所花费的时间） class timecallback(tf.keras.callbacks.Callback): def __init__(self): self.times = []
Python实现进度条和时间预估的示例代码
09-16
在Python编程中，有时我们需要向用户展示任务执行的进度，特别是在处理大数据或长时间运行的任务时。这不仅可以提高用户体验，还能让用户了解程序的状态。本篇文章将详细介绍如何使用`progressbar`和`tqdm`这两个...
基于LSTM算法的短期光伏预测(python实现)
02-29
8. 应用与扩展：完成模型训练后，可以将其应用于实时光伏预测，为电力系统决策提供支持。此外，项目还可以探索其他RNN变体（如GRU）、集成学习方法或引入更多特征以提升预测精度。 总之，"基于LSTM算法的短期光伏...
Python 最大概率法进行汉语切分的方法
09-19
首先，该方法采用了n-gram语言模型，这是一种统计语言模型，通过分析大量语料库中的词序出现频率来估算一个词序列的概率。n-gram模型中，n表示相邻的n个词被一起考虑，例如，2-gram（bigram）模型会考虑每两个连续词...
YOLOv7+单目测距（python）
04-20
尺寸估计通常基于物体类别和训练数据集中的平均尺寸，而深度预测则可以采用回归模型，该模型在训练时已学习到物体与图像像素之间的关系。 具体实现中，YOLOv7可能采用了深度学习模型来处理这两个任务。深度学习模型...
programming computer vision with python
07-09
《使用Python进行计算机视觉编程》一书由Jan Erik Solem撰写，于2011年出版，该书全面深入地探讨了如何运用Python语言及相关的科学计算库来处理和分析图像，实现计算机视觉任务。以下是对书中各章节知识点的详细解析...
python学习：时间模块学习
山鬼谣弋痕夕的博客
09-30 254
时间模块有（time）模块和日历（Calendar）模块 举几个实例： import time ticks = time.time() print ("当前时间戳为:", ticks) localtime = time.localtime(time.time()) localtime2 = time.asctime( time.localtime(time.time()) ) print (...
python越来越慢_Tensorflow训练模型越来越慢的2种解决方案
weixin_39712724的博客
12-04 524
1 解决方案【方案一】载入模型结构放在全局，即tensorflow会话外层。'''载入模型结构:最关键的一步'''saver = tf.train.Saver()'''建立会话'''with tf.Session() as sess:for i in range(STEPS):'''开始训练'''_, loss_1, acc, summary = sess.run([train_op_1, tra...
python回归模型调优要运行多久_一次程序优化经历，运行8小时到3小时到50分钟...
weixin_39881760的博客
12-06 1000
上周我遇到一个需要处理大文件的场景，需要遍历大文件，并且对数据进行一定的处理。由于这批数据对时效性要求较高，所以当时我编写的程序是希望运行地越快越好，所以我在编程的过程中对程序进行一次一次的优化，最终从开始时需要运行8小时到现在只需运行50分钟，算是达到了需求。当然，你可能会说一开始的程序写得太烂，所以导致运行太紧，无所谓啦，这并不是重点。实际上，很多人第一次写程序都很难按预想那样写出简单高效的代...
python模型训练与预测练习
热门推荐
miss_fang
03-09 1万+
我是照着YouTube上的机器学习视频做的，视频里讲的比较简洁，下来自己做遇到不少坑。tensorflow for poets网站：https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/index.html?index=..%2F..%2Findex#1我的流程如下：首先下载anaconda，对应python2.7...
pytorch训练项目记录时间
qq_40671063的博客
10-29 4884
pytorch训练项目记录时间
python执行过程中显示实时时间
adurey的博客
04-08 1568
在深度学习模型训练过程中，显示每一批次的实时时间的一个小方法。 import time print('epoch:{} , Loss:{} , Time:{}'.format(i, loss, time.strftime('%Y.%m.%d %H:%M:%S', time.localtime(time.time()))))
python训练模型、如何得到模型训练总时长_【绝对干货】机器学习模型训练全流程！...
05-24
要得到模型训练总时长，可以在代码中添加计时器，记录模型训练的开始时间和结束时间，并计算二者之差即可。下面是一个示例代码： ```python import time import tensorflow as tf # 记录开始时间 start_time = time.time() # 加载数据集等预处理操作 # 定义模型 model = tf.keras.models.Sequential([ tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.Dense(10, activation='softmax') ]) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy') # 训练模型 model.fit(x_train, y_train, epochs=10) # 记录结束时间 end_time = time.time() # 计算模型训练总时长 total_time = end_time - start_time print("模型训练总时长：", total_time, "秒") ``` 需要注意的是，模型训练总时长受硬件配置、数据集大小、模型复杂度等因素的影响，同样的代码在不同的环境下可能会有不同的训练时间。因此，需要在统计模型训练总时长时，应该在相同的环境下运行代码，以确保结果的可比性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值