【深度学习】矢量化加速的Python代码实现(定义计时器)

本文介绍了一种用于深度学习基准测试的计时器设计方法,并提供了详细的Python实现代码。通过该计时器可以方便地记录多次运行的时间,便于评估不同算法的效率。

由于在深度学习中频繁进行运行时间的基准测试,所以我们定义一个计时器,Python代码实现如下:

一、导入需要的包

import math
import time
import numpy as np
import torch
from d2l import torch as d2l

二、定义计时器

class Timer:
    # 记录多次运行时间
    def __init__(self):
        self.times=[]
        self.start()
    def start(self):
        # 启动计时器
        self.tik=time.time()
    def stop(self):
        # 停止计时器并记录时间到列表中
        self.times.append(time.time()-self.tik)
        return self.times[-1]
    def avg(self):
        # 返回平均时间
        return sum(self.times)/len(self.times)
    def sum(self):
        # 返回时间总和
        return sum(self.times)
    def cumsum(self):
        # 返回累计时间
        return np.array(self.times).cumsum().tolist()

三、举例测试计时器

n=10000
a=torch.ones(n)
b=torch.ones(n)
c=torch.zeros(n)
timer=Timer()
for i in range(n):
    c[i]=a[i]+b[i]
seconds=f'{timer.stop():.5f} seconds'
print(seconds)

结果展示为:

0.10235 seconds
在训练我们的模型时,我们经常希望能够同时处理整个小批量的样本。 为了实现这一点,需要我们对计算进行矢量化, 从而利用线性代数库,而不是在Python中编写开销高昂的for循环。 mxnet pytorch tensorflow paddle %matplotlib inline import math import time import numpy as np import torch from d2l import torch as d2l Copy to clipboard 为了说明矢量化为什么如此重要,我们考虑对向量相加的两种方法。 我们实例化两个全为1的10000维向量。 在一种方法中,我们将使用Python的for循环遍历向量; 在另一种方法中,我们将依赖对+的调用。 mxnet pytorch tensorflow paddle n = 10000 a = torch.ones([n]) b = torch.ones([n]) Copy to clipboard 由于在本书中我们将频繁地进行运行时间的基准测试,所以我们定义一个计时器: class Timer: #@save """记录多次运行时间""" def __init__(self): self.times = [] self.start() def start(self): """启动计时器""" self.tik = time.time() def stop(self): """停止计时器并将时间记录在列表中""" self.times.append(time.time() - self.tik) return self.times[-1] def avg(self): """返回平均时间""" return sum(self.times) / len(self.times) def sum(self): """返回时间总和""" return sum(self.times) def cumsum(self): """返回累计时间""" return np.array(self.times).cumsum().tolist() Copy to clipboard 现在我们可以对工作负载进行基准测试。 首先,我们使用for循环,每次执行一位的加法。 mxnet pytorch tensorflow paddle c = torch.zeros(n) timer = Timer() for i in range(n): c[i] = a[i] + b[i] f'{timer.stop():.5f} sec' Copy to clipboard '0.16749 sec' 或者,我们使用重载的+运算符来计算按元素的和。 mxnet pytorch tensorflow paddle timer.start() d = a + b f'{timer.stop():.5f} sec' Copy to clipboard '0.00042 sec' 结果很明显,第二种方法比第一种方法快得多。 矢量化代码通常会带来数量级的加速。 另外,我们将更多的数学运算放到库中,而无须自己编写那么多的计算,从而减少了出错的可能性。
最新发布
03-11
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旅途中的宽~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值