打工日志11.25

在API优化过程中发现,接口初次调用耗时较长,原因是GPU首次计算时间较长,可能是GPU初始化过程导致。通过预执行GPU操作进行初始化,可以解决这个问题。虽然对多数应用影响不大,但对于线上接口服务,首次调用时延尤其重要,建议在服务启动时预先初始化GPU。
摘要由CSDN通过智能技术生成

今天在进行API优化排查的时候发现接口在第一次进行调用的时候的运行耗时明显高于之后的调用。

后来经过排查,其实是因为GPU的第一次调用计算会明显高于之后的计算时间。我觉得可能是因为GPU要初始化的原因?

下面做一个简单的小实验,像这样子的,循环计算多次

import torch
import time

if __name__ == '__main__':
    device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")
    for i in range(0, 100):
        st = time.time()
        a1 = torch.rand(9999, 9999).to(device)
        b1 = torch.rand(9999, 9999).to(device)
        torch.mul(a1, b1)
        et = time.time()
        print('In computation {}, the computing operation costs {}ms'.format(str(i), (et-st)))
        time.sleep(2)

输出如下:

In computation 0, the computing operation costs 4.841561555862427ms
In computation 1, the computing operation costs 1.8976020812988281ms
In computation 2, the computing operation costs 1.9691121578216553ms
In computation 3, the computing operation costs 1.8744938373565674ms
In computation 4, the computing operation costs 1.8520243167877197ms
...

但是只要在前面随机进行一下gpu的操作,让GPU初始化完成,时间就正常了。。

import torch
import time
import logging

if __name__ == '__main__':
    device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")
    before_laodd = torch.rand(9999, 9999).to(device)
    for i in range(0, 100):
        st = time.time()
        a1 = torch.rand(9999, 9999).to(device)
        b1 = torch.rand(9999, 9999).to(device)
        torch.mul(a1, b1)
        et = time.time()
        print('In computation {}, the computing operation costs {}ms'.format(str(i), (et-st)))
        time.sleep(2)

output:

In computation 0, the computing operation costs 1.9176990985870361ms
In computation 1, the computing operation costs 1.9287288188934326ms
In computation 2, the computing operation costs 1.8840551376342773ms
...

这个看似好像对实际应用没啥影响,但是因为我们是做线上的接口服务,大部分用户在启动服务之后,可能就只调用一次,那么首次的时延就显得非常重要。
做接口的时候,启动服务时要顺便初始化一下GPU呀

内容概要:该题库专为研究生入学考试计算机组成原理科目设计,涵盖名校考研真题、经典教材课后习题、章节题库和模拟试题四大核心模块。名校考研真题精选多所知名高校的计算机组成原理科目及计算机联考真题,并提供详尽解析,帮助考生把握考研命题趋势与难度。经典教材课后习题包括白中英《计算机组成原理》(第5版)和唐朔飞《计算机组成原理》(第2版)的全部课后习题解答,这两部教材被众多名校列为考研指定参考书目。章节题库精选代表性考题,注重基础知识与重难点内容,帮助考生全面掌握考试大纲要求的知识点。模拟试题依据历年考研真题命题规律和热门考点,精心编制两套全真模拟试题,并附标准答案,帮助考生检验学习成果,评估应试能力。 适用人群:计划参加研究生入学考试并报考计算机组成原理科目的考生,尤其是需要系统复习和强化训练的学生。 使用场景及目标:①通过研读名校考研真题,考生可以准确把握考研命题趋势与难度,有效评估复习成效;②通过经典教材课后习题的练习,考生可以巩固基础知识,掌握解题技巧;③通过章节题库的系统练习,考生可以全面掌握考试大纲要求的各个知识点,为备考打下坚实基础;④通过模拟试题的测试,考生可以检验学习成果,评估应试能力,为正式考试做好充分准备。 其他说明:该题库不仅提供详细的题目解析,还涵盖了计算机组成原理的各个方面,包括计算机系统概述、数据表示与运算、存储器分层、指令系统、中央处理器、总线系统和输入输出系统等。考生在使用过程中应结合理论学习与实践操作,注重理解与应用,以提高应试能力和专业知识水平。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值