VS2019 CMake开发Win&Linux双平台CUDA+cuDNN

最新推荐文章于 2024-10-09 17:29:07 发布

Mr_L_Y

最新推荐文章于 2024-10-09 17:29:07 发布

阅读量2k

点赞数 1

分类专栏： Visual Studio 文章标签： cuda cudnn

本文链接：https://blog.csdn.net/luoyu510183/article/details/113471199

版权

本文介绍了如何使用VS2019和CMake构建支持Win&Linux双平台的CUDA+cuDNN项目。内容包括CUDA和cuDNN的安装，CMake配置详解，以及CUDA卷积运算的测试代码，帮助开发者实现基于CUDA的AI算法部署。

摘要由CSDN通过智能技术生成

前言

在Nvidia的服务器GPU部署AI模型一定要使用TensorRT, 因为cuDNN远慢于TensorRT. 参考我最新的文章基于NvidiaGPU的AI模型结构优化:

最后说一点, 目前能够完美发挥出TensorCore性能的引擎, 据我所知只有TensorRT. 一些训练推理平台(比如pytorch)底层实际调用的是cuDNN来完成模型的推理. 但据我的经验来看, 相同参数的卷积cuDNN的实现要比TensorRT的实现慢3倍以上. 我也尝试过实现基于TensorCore的卷积, 但最终还是会比TensorRT慢20%多的样子.
————————————————
版权声明：本文为CSDN博主「Mr_L_Y」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/luoyu510183/article/details/117385131

最近的项目是在帮助服务器落地一些AI算法, 用到的Nvidia的GPU来推理, 主要会用到CUDA, cuDNN和TensorRT. 另外我也在开发独立的CUDA引擎来替换cuDNN, 由于cuDNN目前不支持Direct这种直接卷积算法, 只能使用GEMM,FFT和WINOGRAD这三种算法. 我的目前测试感觉这三种并不会一定会比直接卷积快, 另外cuDNN的TRUE_HALF_CONFIG , 并不会比float计算快, 这个和我用直接卷积的结论是相反的.

先讲解下结构关系:

CUDA是Nvidia GPU开发的基础工具集, 不但包含了.cu编译器nvcc, 还有一大堆好用的工具库比如npp, nvjpeg, nvblas等等.

cuDNN是基于CUDA的卷积算法库, 里面有关于神经网络卷积计算的很多算子, 比如Tensor的+ - * /, 激活函数, 卷积函数等等.

TensorRT是基于cuDNN的一个面向模型应用库, 到这里不需要了解具体卷积的实现, 只需要把模型交给TensorRT用对应parser解析就可以进行推理或者训练.

或者结构如下:

模型 => TensorRT Parser => TensorRT cuDNN Wrapper => cuDNN ops => CUDA Kernel => GPU driver

本篇主要是作为编译入门讲解, 搭建一个基础的双平台CUDA+cuDNN项目.