极智AI | 谈谈 GPU 并行推理的几个方式

极智视界

已于 2022-06-21 21:19:11 修改

阅读量3k

点赞数 3

分类专栏：极智AI 文章标签：人工智能深度学习算法

于 2022-03-21 09:59:14 首次发布

本文链接：https://blog.csdn.net/weixin_42405819/article/details/123628109

版权

极智AI 专栏收录该内容

174 篇文章 27 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了GPU并行推理的三种方式：通过CUDA流实现核函数并行，利用英伟达API库并行，以及TRT并行。强调支持设备重叠功能的GPU能在数据传输和计算间进行异步操作，提高性能。

摘要由CSDN通过智能技术生成

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

大家好，我是极智视界。本文主要聊一下 GPU 并行推理的几个方式。

CUDA流表示一个 GPU 操作队列，该队列中的操作将以添加到流中的先后顺序而依次执行。可以将一个流看做是GPU 上的一个任务，不同任务可以并行执行。使用 CUDA流，首先要选择一个支持设备重叠（Device Overlap）功能的设备，支持设备重叠功能的 GPU 能够在执行一个 CUDA 核函数的同时，还能在主机和设备之间执行复制数据操作。

支持重叠功能的设备的这一特性很重要，可以在一定程度上提升 GPU 程序的执行效率。一般情况下，CPU 内存远大于 GPU 内存，对于数据量比较大的情况，不可能把 CPU 缓冲区中的数据一次性传输给 GPU，需要分块传输，如果能够在分块传输的同时，GPU 也在执行核函数运算，这样就形成了异步操作，能够提高极大提升运算性能。

下面实际介绍几种 GPU 并行的方式。

文章目录

1 Cuda 核函数并行

void privateBlobFromImagesGpu(const float* imageDatas, int batchCount, int width, int height, const float* mean, const float* std, float* blob, cudaStream_t stream)
{
	const dim3