CUDA减少JIT开销的两种方式

最新推荐文章于 2023-02-19 17:37:01 发布
最新推荐文章于 2023-02-19 17:37:01 发布
阅读量2.4k 收藏 3
点赞数 2
分类专栏： 今生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ophunter_lcm/article/details/102952226
版权
文章揭示了CUDA应用在启动时由于即时编译（JIT）导致的时间延迟问题，并介绍了两种缓解策略：Fat Binaries和JIT缓存。Fat Binaries在二进制文件中包含多架构PTX码，而JIT缓存则保存编译后的二进制代码以避免重复编译。在Docker环境中，首次运行CUDA应用慢是由于缺乏JIT缓存，解决方案包括映射宿主机缓存或打包缓存进镜像。
摘要由CSDN通过智能技术生成

之前测试的时候发现有时从Jenkins上拉下来的的megawise二进制包解压启动之后，执行第一条sql非常慢，需要1.5~3.5分钟不等。

后来docker化之后发现，docker中稳定必现第一条sql长时间卡住的问题。

当时查看日志发现总会卡在zdb_storage的一个MetaAgg的函数中，后来将这个函数注释掉，发现这个问题还是没有解决，会在engine中卡住。

百思不得其解之际，叶富哥一语惊醒梦中人：“好像都是卡在cuda调用的地方”。

从这个方向入手调查，果然找到了问题。

-------------------------------------揭开谜底的分割线------------------------------------------------

随着Nvidia gpu不断发展以支持新的特性，其指令集架构自然也发生了编号。由于应用程序需要在多代gpu上运行，Nvidia编译器工具链在同一个应用的可执行文件或者库中支持对多个不同架构的编译。

CUDA还依赖PTX(Parallel Thread Execution)虚拟GPU ISA(Instruction Set Architecture)来提供向前兼容性，以便已经部署的应用程序可以运行在未来的GPU架构之上。Nvidia编译器nvcc为了提供前向和

后向的兼容性，使用两段编译模型。第一个编译阶段将源代码编译成PTX虚拟汇编码，第二个阶段将PTX码编译成目标架构的二进制代码。CUDA驱动在运行时执行第二阶段编译。这种即时编译就会导致

应用程序在启动时（准确的说是在CUDA上下文创建的时候）产生一定的时间开销。CUDA使用两种方式来减少JIT(just-in-time)编译的时间开销：fat binaries和JIT缓存。

 

Fat Binaries

第一种完全避免

最低0.47元/天 解锁文章
ophunter
关注
专栏目录
Numba 的 CUDA 示例（1/4）：踏上并行之旅
茶桁专栏
05-29 1539
GPU（图形处理单元），顾名思义，最初是为计算机图形学开发的。从那时起，它们几乎在每个需要高计算吞吐量的领域都无处不在。这一进步得益于 GPGPU（通用 GPU）接口的发展，这些接口使我们能够对 GPU 进行编程以进行通用计算。这些接口中最常见的是CUDA，其次是OpenCL，最近的是 HIP。GPU 相对于 CPU 的最大优势在于它们能够并行执行相同的指令。单个 CPU 内核将以串行方式一个接一个地运行指令。在 CPU 上进行并行化需要同时使用其多个内核（物理或虚拟标准的现代计算机具有 4-8 个内核。
通过Numba调用CUDA用GPU为Python加速：进阶理解网格跨步、多流、共享内存
漫步量化
12-03 6916
前导知识 理解本文需要先了解： 计算机底层基础知识，CPU、机器码、编译等《编译型语言与解释型语言如何在计算机底层运行》《计算机底层运转机制：多核、缓存、CPU、CU、ALU、Cache》 Python代码与GPU加速的关系《Python程序如何用GPU加速：Tesla、CUDA、Numba》 在CPU入门numba《Python代码在CPU下加速：Numba入门》 在GPU入门numba《...
一分钟解决tensorflow2.0版本的GPU启动慢问题
qq_41129525的博客
09-04 6525
一分钟解决tensorflow2.0版本的GPU启动慢问题 #最近在用tf的时候,发现电脑的GPU启动非常慢,调用到了0号GPU,就是一只卡在那里. 如图 从图中我们可以看到,我的GPU启动花了12分钟. 删掉安装的CUDA以后,非常快就跑出结果了,这是为什么呢?难道我们安装的不是GPU版本吗? 其实不是的,TF2.0已经把cpu和gpu合在一个包里面了,也就是说安装tf=2.1和tf-gpu=2.1是一样的.那么怎么解决呢?下面一分钟教你一分钟解决 首先打开windows的环境变量,然后添加一个变量,
CUDA编译过程
feng__shuai的博客
12-17 4701
首先当然是将.cu代码进行分离，利用是cudafe.exe 去分离cpu代码和GPU代码，在生成的中间文件可以看到test.cudafe1.cpp和test.cudafe1.gpu 接下来nvopencc将根据编译 选项-arch将gpu 代码编译成对应-arch的test.ptx文件 接下来ptxas.exe 编译 .ptx 到 .cubin，这个是根据编译选项-code定义的，比如test.sm_30.cubin，这一步叫做PTX离线编译，主要的目的是为了将代码编译成一个确定的计算能力和SM版本，对应.
Adding visible gpu devices: 0 每次运行到这里卡很久
我有明珠一颗的博客
07-04 8668
Step1. 设置环境变量：CUDA_CACHE_MAXSIZE=4294967296 Step2. 重启电脑 貌似之后就不会再有这种问题了
python的CUDA加速编程科普
Briwisdom的博客
12-26 1万+
目录 1.什么是CUDA？ 2.适用设备: 3.GPU的硬件结构 4.CUDA的线程层次 5.CUDA程序的编写 6.CUDA线程索引 7.实际编程 7.1 向量相加 7.2 图像亮度调整 7.3 矩阵相乘 7.4 卷积操作对图像进行模糊 1.什么是CUDA？ CUDA Compute Unified Device Architecture CUDA C/C++ 基于C/C++的编程方法 支持异构编程的扩展方法 简单明了的APIs，能够轻松的管理存储系统
numba中的numba.core.errors.TypingError问题解决和@cuda.jit的使用
qq_49425744的博客
02-19 5408
还有这种问题TypeError: No matching definition for argument type(s) array(int32, 2d, C)，原因是参数没用匹配到或者匹配不正确。但是这个函数如何调用，官网并没用讲。根据官网对numba的定义，有如下方法可以调用。接下来是关于numba中@cuda.jit的使用：从。
linux下cuda文件如何编译,linux cuda 如何编译
weixin_39631951的博客
05-09 621
1.1。Numba的约5分钟指南 Numba是Python的即时编译器，它最适用于使用NumPy数组和函数以及循环的代码。使用Numba的最常用方法是通过其装饰器集合，可以应用于您的函数来指示Numba编译它们。当调用Numba修饰函数时，它被编译为机器代码“及时”执行，并且您的全部或部分代码随后可以以本机机器代码速度运行！开箱即用的Numba使用以下方法：操作系统：Windows(32位和64位...
Python Numba | 多流和共享内存CUDA优化技术介绍和代码示例
皮皮鲁的AI星球
11-21 4983
本文为英伟达GPU计算加速系列的第三篇，前两篇文章为： AI时代人人都应该了解的GPU知识：主要介绍了CPU与GPU的区别、GPU架构、CUDA软件栈简介。 超详细Python Cuda零基础入门教程：主要介绍了CUDA核函数，Thread、Block和Grid概念，内存分配，并使用Python Numba进行简单的并行计算。 阅读完前两篇文章后，相信读者应该能够将一些简单的CPU代...
GPU加速02:超详细Python Cuda零基础入门教程，没有显卡也能学！
WANGJUNAIJIAO的博客
12-16 7785
Python Numba库可以调用CUDA进行GPU编程，CPU端被称为主机，GPU端被称为设备，运行在GPU上的函数被称为核函数，调用核函数时需要有执行配置，以告知CUDA以多大的并行粒度来计算。使用GPU编程时要合理地将数据在主机和设备间互相拷贝。GPU程序执行流程初始化，并将必要的数据拷贝到GPU设备的显存上。使用某个执行配置，以一定的并行粒度调用CUDA核函数。CPU和GPU异步计算。将GPU计算结果拷贝回主机。
【Python-GPU加速】基于Numba的GPU计算加速（一）基本
TomRen
11-23 1万+
Numba是一个可以利用GPU/CPU和CUDA 对python函数进行动态编译，大幅提高执行速度的加速工具包。 利用修饰器@jit,@cuda.jit,@vectorize等对函数进行编译 JIT：即时编译，提高执行速度 基于特定数据类型 集中与数值计算(高效编译math，cmath，sub-numpy) Numba是一个开源的JIT编译器，可以将python或者numpy 的一些数学...
CUDA学习
Augusdi的专栏
10-08 6846
想想学习CUDA的时间也应该有十来天了，也该是做一个小总结了，说说我理解的CUDA，它到底是什么东西？     其实说到CUDA，还真的没几个人知道，说实话，我也听说不久，主要因为它2007年才刚发布，也是这几年才刚兴起，国内那就更慢了。    CUDA它中文的名字是统一计算设备架构，CUDA是一种将GPU作为数据并行计算设备，听到并行这个名称，我相信很多热爱计算机的朋友就特别兴奋，因为这意味着速
【CUDA】Ubuntu系统如何安装CUDA保姆级教程(2022年最新)
热门推荐
Sihang_Xie的博客
10-16 5万+
Ubuntu系统的服务器如何安装 CUDA ？看完本篇博文，相信你会找到答案。
CUDA 编程 之 配置cache函数
This is Chuanqiz's Blog
02-27 1785
设置L1/shared mem 配置函数Sets the preferred cache configuration for a device function.__host__ ​cudaError_t cudaFuncSetCacheConfig ( const void* func, cudaFuncCache cacheConfig ) 枚举参数enum cudaFuncCache CUD
NVCC的offline compilation和just-in-time compilation
kinggang2017的博客
12-21 863
这篇博客讲的比较清楚：http://blog.sina.com.cn/s/blog_178a6cbd50102xczh.html 任何一种程序设计语言都需要相应的编译器将其编译为二进制代码，进而在目标机器上得到执行。对于异构计算而言，这一过程与传统程序设计语言是有一些区别的。为什么？因为CUDA它本质上不是一种语言，而是一种异构计算的编程模型，使用CUDA C写出的代码需要在两种体系
深度学习训练遇到的各种问题汇总
baidu_41553551的博客
09-20 435
在Adding visible gpu devices: 0上卡住 添加环境变量添加一个CUDA_CACHE_MAXSIZE变量，值为：4294967296
tomcat8调整cacheMaxSize
qq_39682030的博客
06-16 3731
记录一次升级到tomcat8后，有关缓存的日志警告不断泛滥，如： 16-Jun-2020 09:58:17.073 警告 [localhost-startStop-1] org.apache.catalina.webresources.Cache.getResource 无法将位于[/WEB-INF/classes/static/admin/plugins/bootstrap/css/bootstrap.css]的 16-Jun-2020 09:58:17.066 警告 [localhost-startSt
Ubuntu18.04 + Caffe + python3.7 + CUDA11 + cuDNN8编译记录
weixin_39161727的博客
09-06 3548
Ubuntu18.04 + Caffe + python3.7 + CUDA11 + cuDNN8编译记录背景基础环境安装过程Python3.7安装caffe官方代码下载及配置文件修改caffe与python3.7/cuDNN8适配cudnn_conv_layer.cpp和cudnn_deconv_layer.cppcuDNN版本指定libboost_python.so链接版本修改开始编译caffe调用caffe 背景 这两天接手了一个在两年前基于caffe实现的交互式活体检测的项目，想要让他在python
[CUDA] 快速入门CUDA(1)-基本了解和HelloWorld
weixin_52157994的博客
04-10 9052
CUDA基础 文章目录CUDA基础1 CUDA简介2 GPU和CPU架构的不同之处3 查看GPU硬件信息4 需要建立的基本概念5 总结 1 CUDA简介 CUDA的全程是Computer Unified Device Architecture，是由显卡头子NVIDIA发明的。有的人对于显卡的印象在于它可以玩游戏，效果十分逼真，但从背后而言，正是因为显卡强大的图形计算能力，才使得计算机可以运行这些大型的3D游戏，并且拥有较高的画质和帧数。 2 GPU和CPU架构的不同之处 CPU具有以下特点： 对单线程有优
@cuda.jit怎么用
最新发布
05-24
`@cuda.jit` 是一个装饰器，用于在 CUDA 设备上编写 GPU 加速的函数。下面是一个简单的例子： ```python from numba import cuda @cuda.jit def add_kernel(x, y, out): """ A CUDA kernel to add two arrays element-wise. """ i = cuda.grid(1) out[i] = x[i] + y[i] ``` 在这个例子中，我们定义了一个名为 `add_kernel` 的 CUDA kernel，它接受三个参数：两个输入数组 `x` 和 `y`，以及一个输出数组 `out`。函数的主体部分包含一个 `cuda.grid()` 调用，用于获取当前线程的 ID，然后将输入数组中对应位置的元素相加并将结果存储在输出数组中。 要在CUDA设备上运行这个函数，我们需要将输入数据和输出数组分配到设备的全局内存中，并使用 `cuda.jit()` 装饰器来编译内核。下面是一个完整的示例： ```python import numpy as np from numba import cuda # 生成输入数据 x = np.array([1, 2, 3]) y = np.array([4, 5, 6]) out = np.zeros_like(x) # 将数据移动到设备上 x_device = cuda.to_device(x) y_device = cuda.to_device(y) out_device = cuda.to_device(out) # 定义线程块大小和网格大小 threads_per_block = 32 blocks_per_grid = (x.size + (threads_per_block - 1)) // threads_per_block # 调用 CUDA 内核 add_kernel[blocks_per_grid, threads_per_block](x_device, y_device, out_device) # 将结果移回主机内存 out = out_device.copy_to_host() print(out) # 输出结果：[5 7 9] ``` 在这个示例中，我们首先生成了输入数据 `x` 和 `y`，以及一个全零的输出数组 `out`。然后，我们使用 `cuda.to_device()` 函数将这些数组移动到设备上。接下来，我们定义了线程块大小和网格大小，并调用 `add_kernel` 函数来执行加法操作。最后，我们使用 `copy_to_host()` 函数将结果数组移回到主机内存中并打印结果。 请注意，当使用 `@cuda.jit` 装饰器时，函数的参数类型必须是 Numba 支持的类型。如果您需要使用自定义类型，可以使用 Numba 的 `cuda.register_device_memory()` 函数将它们注册到设备内存中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值