tensorRT---认识cuda RuntimeAPI（memory、Pinned Memory）

已于 2022-05-21 10:38:23 修改
阅读量354 收藏
点赞数
分类专栏： c++ 文章标签： c++
于 2022-04-30 12:27:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42398658/article/details/124510200
版权
本文详细介绍了CUDA运行时API中关于内存管理的内容，特别是重点讨论了Pinned Memory的使用，包括如何进行GPU内存分配、数据传输到GPU的过程，以及显卡访问Pinned Memory的原理。通过学习，读者可以理解CUDA内存管理的基本原则。
摘要由CSDN通过智能技术生成

1. 对于 runtimeAPI ，与 driver 最大区别是 懒加载
2. 即，第一个 runtime API 调用时，会进行 cuInit 初始化 ，避免驱动 api 的初始化窘境
3. 即，第一个需要 context 的 API 调用时，会进行 context 关联并创建 context 和设置当前 context ， 调用 cuDevicePrimaryCtxRetain 实现
4. 绝大部分 api 需要 context ，例如查询当前显卡名称、参数、内存分配、释放等

         

1. CUDA Runtime 是封装了 CUDA Driver 的高级别更友好的 API
2. 使用 cuDevicePrimaryCtxRetain 为每个设备设置 context ，不再手工管理 context ，并且不提供直接管理 context 的 API （可 Driver API 管理，通常不需要）
3.
最低0.47元/天 解锁文章
tensorRT---认识cuda RuntimeAPI（共享内存、Warpaffine）
进击的菜鸟
05-01 381
共享内存 1.共享内存因为更靠近计算单元，所以访问速度更快 2.共享内存通常可以作为访问全局内存的缓存使用 3.可以利用共享内存实现线程间的通信 4.通常与__syncthreads同时出现，这个函数是同步block内的所有线程，全部执行到这一行才往下走 5.使用方式，通常是在线程id为0的时候从global memory取值，然后syncthreads，然后再使用 #include <cuda_runtime.h> #include <stdio.h> #.
tensorRT---认识cuda RuntimeAPI（认识thrust，认识cuda的错误机制）
进击的菜鸟
05-01 323
thrust #include <stdio.h> #include <thrust/host_vector.h> #include <thrust/device_vector.h> #include <thrust/sort.h> #include <iostream> using namespace std; __host__ __device__ int sort_func(int a, int b){ return a &g
TensorRT笔记二（RuntimeAPI）
nanjono的博客
03-31 299
流是一种基于context之上的任务管道抽象，可以当作一个队列，一个context可以创建n个流流是异步控制的主要方式nullptr表示默认流，每个线程都有自己的默认流指令发出后，流队列储存的是指令参数，不能加入队列后立即释放参数指针，否则会导致执行该指令时指针失效而出错。
TensorRT safety runtime
weixin_47062350的博客
10-27 673
在tensorrt上移植深度学习模型的时候需要在其安全模式下进行移植。有好多坑，这里记录一下tensorrt安全模式下的一些限制。： TensorRT safety runtime 不支持DLA safety runtime 不支持implicit batch size。batch size 必须是explicit。创建configurations时必须包含NetworkDefinitionCreationFlag::kEXPLICIT_BATCH . safety runtime不支持动态尺寸 safe
Tensorrt学习笔记之IRuntime类
最新发布
浩瀚之水的专栏
10-16 1194
是TensorRT中的一个关键接口，它表示一个已经过优化并准备好在CUDA环境中执行的深度学习模型。该类包含了执行推理所需的所有操作和参数，可以视为一个准备好的、优化过的模型。
解决错误 RuntimeError: cuda runtime error (710) : device-side assert triggered a
爱生活爱自己爱学习
03-13 1万+
在github上看别人的代码，用别人的数据集跑通了，满心欢喜的换自己的数据集，修改了一番后，发现遇到了莫名其妙的错误，如下 Traceback (most recent call last): File "train_discriminator.py", line 167, in <module> main() File "train_discriminator.py...
CUDA进阶资料专题（一）pinned memory 和 unified memory
cc13949459188的博客
05-19 1092
内存分配的初步解释 关于协调CPU和GPU之间的内存创建和分配以及传输 CPU分配内存 CPU分配内存主要有两种方式： 通过C标准库中的malloc函数完成 调用CUDA中的cudaMallocHost函数 cudaMallocHost函数通过页面锁定，可以提供更高的CPU和GPU传输速率，吞吐量增加是Barracuda10的2.4倍，Barracuda04的2.0倍，Barracuda01的1.5倍。但是缺点是使用cudaMallocHost分配内存比malloc更加慢， 每次调用cudaMal
CUDA Asynchronous Memory Usage and Execution (cuda_05_ykhung)-计算机科学
04-22
CUDA Asynchronous Memory Usage and Execu6on Yukai Hunga0934147@gmail.com ā Department of Mathema>cs Na>onal Taiwan UniversityPage-­‐Locked Memory3Page-­‐Locked ...
cuda的Pinned Memory（分页锁定内存）
zhangpinghao的专栏
03-11 8145
当为了提高CUDA程序的主机内存和设备内存传输消耗时，可以尝试一下两种方案 一：使用分页锁定内存，分页锁定内存和显存之间的拷贝速度大约是6GB/s，普通的分页内存和GPU间的速度大约是3GB/s，（另外：GPU内存间速度是30G,CPU间内存速度是10GB/s），但是这种方法会带来额外的cpu内存间的拷贝时间 二：使用内存映射（Zero Copy）让GPU直接使用CPU的内存，减少主机和设备间
TensorRT的build.cu和runtime.cu
qq_44576434的博客
03-13 689
5）创建config模型配置：使用nvinfer1::createBuilderConfig()创建一个 config 对象，用于保存模型优化过程中的各种设置，如精度、最大 batch size 等；1）创建builder：使用 nvinfer1::createInferBuilder() 创建一个 builder 对象，用于之后的模型构建。2）创建网络 ：使用 nvinfer1::createNetworkV2() 创建一个 network 对象，用于描述模型。1.2.1 举个栗子。
TensorRT学习系列一：使用自定义网络构建和运行TensorRT模型
m0_51661400的博客
12-16 1809
本文介绍了如何使用自定义网络构建和运行TensorRT模型，以及常见问题与解决方案。通过对新旧API的对比说明，帮助读者理解并熟练运用TensorRT优化深度学习模型的推理过程。
CUDA runtime vs CUDA driver
Kelvin_Yan的专栏
07-08 1864
参考Programming Guide runtime角度 cuda runtime封装了底层的C API，这层C API就是cuda driver API（驱动层），我们应用程序里可以调用runtime api（cuda_api_runtime.h），也可以调用driver api（cuda.h） driver api相比runtime api多了两样东西： （1）context，一个context对于device来说等价于一个host端（即cpu）的进程 （2）module，对device的动态链接库
TensorRT笔记四（ShareMemory）
nanjono的博客
04-03 223
共享内存更靠近计算单元，访问速度更快（共享内存通常作为访问全局内存（GlobalMemory）的缓存使用利用共享内存实现线程间的通信。
Jetson Nano 部署(3)：TensorRT介绍
@bangbang的博客
08-18 3554
TensorRT是一种高性能的神经网络推理优化器和运行时推理引擎，应用于项目落地部署。首先需要有训练好的模型，然后经过TensorRT优化器的优化处理，利用TensorRT Runtime Engine进行落地部署。TensorRT是用于优化训练后的深度学习模型，以实现高性能推理的SDKTensorRT包含用于训练后的深度学习模型的深度学习推理优化器，以及用于执行的runtme优点： TensorRT能够以更高的吞吐量和更低的延迟运行深度学习模型，用TensorRT可以加速模型的推理。...
TensorRT4.0开发手册（3）
abrams90的专栏
05-23 2631
2.7 TensorRT Lite在Python接口中还有一个高度抽象的推理模块叫做TensorRT Lite。TensorRT Lite几乎可以完成任何任务，从创建一个engine，执行推理。因此，用户可以简单的创建一个engine，开始处理数据。TensorRT Lite接口位于tensorrt.lite，包含一个叫做Engine的类。engine构造利用模型定义，输入输出，从而生成一个完整的...
GPU软件体系
wufenxia的专栏
05-24 3149
CUDA的软件体系   CUDA的软件堆栈由以下三层构成：CUDA Library、CUDA runtime API、CUDA driver API，如图所示，CUDA的核心是CUDA C语言，它包含对C语言的最小扩展集和一个运行时库，使用这些扩展和运行时库的源文件必须通过nvcc编译器进行编译。             CUDA C语言编译得到的只是GPU端代码，而要管理费用GPU资源
pytorch模型(.pth)转tensorrt模型(.engine)几种方式
热门推荐
小菜的博客
05-05 1万+
序言 这篇文章总结了训练好的pytorch模型转成tensorrt模型部署的几种方式，转换原理流程大致如下： 导出网络定义以及相关权重； 解析网络定义以及相关权重； 根据显卡算子构造出最优执行计划； 将执行计划序列化存储； 反序列化执行计划； 进行推理 值得注意的是第三点，可以看到tensorrt转换出来的模型实际上是和硬件绑定的，也就是在部署的过程中，如果你的显卡和显卡相关驱动软件（cuda、cudnn）发生了改变，那么模型就得需要重新做转换。 一、trtexec trtexec是在tensorrt包
8.2.tensorRT高级(3)封装系列-内存管理的封装，内存的复用
周同学的博客
08-20 972
8.2.tensorRT高级(3)封装系列-内存管理的封装，内存的复用
TensorRT基础知识及应用【C++深度学习部署（十）】
qq_23022733的博客
11-16 3195
接口被用来定义模型。// bit shift，移位：y左移N位，相当于 y * 2^N// kEXPLICIT_BATCH（显性Batch）为0，1U
CUDA数据访问与传输相关方面 - 2014技术报告
4. 固定内存（Pinned Memory）：使用固定内存可以减少主机内存到设备内存传输时的延迟，并提高数据传输速率。固定内存通过锁定主机内存页，保证其不会被交换到磁盘上，从而提高内存访问速度。 5.CUDA流（Streams）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值