基于CuDNN如何实现自动选取最优卷积算法？

最新推荐文章于 2024-06-26 15:35:34 发布
最新推荐文章于 2024-06-26 15:35:34 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： 深度学习 文章标签： ＣＵＤＮＮ 卷积 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangbo1017/article/details/79351775
版权
本文探讨了在深度学习中如何利用CuDNN的GET和FIND API来选择最优卷积算法，平衡时间和空间效率。通过对CuDNN的find方法的深入分析，阐述了自动调优卷积算法的关键点，并提到了在混合精度训练中应注意的卷积算法选取策略。
摘要由CSDN通过智能技术生成

何为最优

最优并不是绝对的，而是需要针对具体的应用场景而言．在深度学习应用中，训练时我们往往对训练速度有要求，希望越快越好，也就意味着能够在更短的时间训练完我们的模型，更小的调整参数的成本；而对于随着网络模型的深度加大，模型本身训练时所占用的显存空间很大，这时候就要求我们的选取的卷积算法能够竟可能的少占用临时显存空间．综上，这是一个时间与空间的权衡，本文会结合当前最新的ＣuDNN分析如何实现自动选取最优卷积算法．

时间与空间的权衡

速度越快的算法往往依赖于更大的临时空间，也就是所谓空间换时间，所以最优的卷积算法还是应该结合我们具体的需求来定义．

问题来源？CuDNN

CuDNN提供了多种卷积算法的实现，同时也提供了两类API，分别为get/find，用户自行调用得到满足特定条件下的最优卷积算法实现．其中GET类型方法是根据经验得到对应的卷积算法，比如输入的layout, filter的大小，卷积输入的数据类型等等，这个查找过程是常数级别，笔者亲测过．这个方法的好处是调用简单，CuDNN根据一些经验设定简易判断，同时给定是否有空间限制的选项，比如有workspace_limit, fastest，no_workspace_limit等．但是，通过这个API获得的卷积算法并不一定是最快的，读者可以自行验证．另外就是find类型的接口，原理是遍历一遍所有的卷积算法，返回一个perf结果，包括每个算法实际运行所需的时间以及临时空间大

最低0.47元/天 解锁文章
jacob_wjj
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
目标检测YOLO实战应用案例100讲-基于卷积神经网络的小目标检测算法研究
qq_36130719的博客
06-07 1126
对于小目标的定义分为相对尺寸定义与绝对尺寸定义。相对尺寸的定义是根据原图的宽高进行计算，小于等于原图宽高十分之一的目标即可被认定为是小目标。绝对定义是根据国际组织SPIE制定的标准，在N*N的图像中，小于图像整体0.12%的目标即被认定为小目标。
Python 人工智能实战：自动驾驶
程序员光剑
10-20 774
人工智能（Artificial Intelligence，AI）是指通过机器学习、模式识别、数据挖掘等技术让计算机“思考”和“学习”，从而实现智能化。这一领域在近几年取得了极大的进步，逐渐成为当今最热门的话题。2017 年底，谷歌推出 AlphaGo，它是一个基于强化学习（Reinforcement Learning，RL）算法的围棋游戏 AI。2019 年，DeepMind 提出的星际争霸游戏 AI “AlphaStar” 也突破了人类级别的表现。
基于cudnn实现卷积计算类
xiaochuideai的博客
09-05 245
使用cudnn实现的相较于opencv实现的更高效的卷积计算类，计算速度是opencv卷积接口的3倍。c++实现，适用于工业实时需要较高的应用场景。
cuDNN学习笔记（3）-- 卷积公式
北溟客的博客
08-08 1253
cuDNN提供了各种各样的API函数，本人在上一篇文章《cuDNN学习笔记（2）-- 常用数据类型和API函数》（https://blog.csdn.net/qq_41736617/article/details/119515655，持续更新中…）进行了介绍。 函数的使用离不开对于原理的理解，本篇对cuDNN的卷积公式进行介绍。 cuDNN提供了好几种计算公式，这里先对计算公式涉及到的变量进行介绍。 卷积公式的参数 Term Description 说明 xxx Input (image)
使用 onnxruntime-gpu 进行推理，运行时间久显存逐渐递增无法减少
最新发布
xiao_ling_yun的博客
06-26 1012
将onnx模型部署为接口后，使用 onnxruntime-gpu 进行持续推理，运行时间久显存逐渐递增无法减少
卷积实现之cudnn
qq_33345917的博客
07-02 808
由于工作原因，我需要用cudnn实现卷积。代码在内网，只好上传代码图片。 工程主文件： 工程辅助文件： 辅助文件用于造test case，不是必须文件。 cmake 文件： 卷积核头文件： 卷积核cpp文件： 用卷积核构造卷积： ...
cuDNN：利用 GPU 加速卷积神经网络
xiaolu的专栏
09-01 7221
近年来深度学习领域的突破与计算能力的大幅进步是分不开的： 加快了研究的迭代速度，有更多的机会来优化和调整网络，降低了试错的成本。 可以在更大的数据集上进行训练，提高了最终的精度。 相较于通用处理器，GPU 在单位面积/单位功耗上拥有更高的计算能力和吞吐带宽，对于神经网络的训练和分类都可以提供显著的加速效果。因而越来越多的学者和机构会选择 GPU 来加速他们的研究，如下图是这几年来
使用CuDNN进行卷积运算
热门推荐
幻世
03-26 1万+
CuDNN NVIDIA ® cuDNN is a GPU-accelerated library of primitives for deep neural networks. It provides highly tuned implementations of routines arising frequently in DNN applications: Convolution fo...
GPU-CPU-CUDNN卷积加速
cbd_2012的博客
12-05 608
https://blog.csdn.net/fangjin_kl/article/details/53906874 GPU-CPU-CUDNN卷积加速
目标检测YOLO实战应用案例100讲-基于YOLOv5_tiny算法的路面裂缝智能检测(续)
qq_36130719的博客
10-17 435
网络训练时所使用的路面裂缝数据集是由公开的路面裂缝数据集Crack500、 RoadDamageDataset和使用手机设备自采的路面裂缝数据集混合组成。传统的 直方图算法没有考虑到图像的局部细节信息，路面裂缝受到外界因素的干扰使得图像过亮或。数据样本量的多少往往决定了模型训练结果的好坏，由于本文所使用的学习算法属于有 监督学习，因此需要大量带有数据标签的样本图片进行驱动，使网络学习样本图片之间的特。（3）在步骤（2）的基础上对图像进行CLAHE算法处理，增强裂缝与非裂缝之间的对。（1）输入原始图像；
cuDNN 开发指南
10-18
cuda cudnn开发指南文档，详细介绍了数据类型，api参考，编程模型等，cuda深度学习开发参考必备。
云计算实战应用案例精讲-【自动驾驶】多模态融合智能检测方法及 SLAM 车载实现（论文篇）
qq_36130719的博客
04-20 1250
针对助老陪护应用场景，为了使智能机器人更好地实现交互，本文选择了语音、手势和场景对象进行融合识别。针对助老陪护的现实特点，为了达到更自然的交互效果，本文识别了老年人日常生活陪护和心理陪护游戏中的四种模态信息。在手势识别方面，本文分析研究了老年人表达意图经常使用的几种手势，并在项目组前期工作基础上完成识别与应用[58]。在语音识别方面，本文通过现有接口，完成音频文件到语言文字的识别转换。在场景对象的检测方面，本文实现了日常生活用品的目标检测，以及心理陪护游戏中所使用游戏积木的检测。
cudnn实现前向卷积运算（入门向）
qq_58135699的博客
04-23 989
注意有个小坑：cudnn的更新比较快所以在自己的环境下往往需要对算法进行修改，主要是同样功能的函数名称会有变化。可以去英伟达官网的cudnn网页查看各个API的功能。最后上面的程序运行结果是这样哒！算法的设计流程大致如下。
CUDA卷积算子手写详细实现
u012374012的专栏
08-01 599
卷积操作主要针对图像进行运算，我们常见的RGB即为三通道的二维图像，那么就可以通过一个一维数组存储所有的数据，再按照不同的布局去索引对应的数据，现在主要使用nchw和nhwc两种数据布局，其中n - batch size 也可以理解为"图像"数量c - channel num 即我们说的通道数量h - height 图像高度，每个通道的高度宽度是一致的w - width 图像宽度那么显然nchw就是逐个通道的读取图像，nhwc即对所有通道的同样位置读取数据后，再切换到下一个为止。
一行代码提升卷积神经网络的计算效率，加速神器torch.backends.cudnn.benchmark
qq_38410428的博客
07-16 1万+
大家在训练深度学习模型的时候，经常会使用 GPU 来加速网络的训练。但是说起 torch.backends.cudnn.benchmark 这个 GPU 相关的 flag，可能有人会感到比较陌生。在一般场景下，只要简单地在 PyTorch 程序开头将其值设置为 True，就可以大大提升卷积神经网络的运行速度。既然如此神奇，为什么 PyTorch 不将其默认设置为 True？它的适用场景是什么？为什么使用它可以提升效率？答案就在本文之中。 前言 在说 torch.backends.cudnn.benchm.
pointnet推理部署--onnxruntime框架
taifyang的博客
07-23 1470
注意，由于C++无法直接读取npy格式文件（可以依赖一些库），这里先使用python脚本将npy文件转换成txt文件。以分16类50部分，gpu版本为例。以分10类，gpu版本为例。以分13类，gpu版本为例。
cuDNN学习笔记（2）-- 常用数据类型和API函数
北溟客的博客
08-08 2287
常用数据类型和API函数（持续更新中...）数据类型：cudnnDataType_t数据类型：cudnnConvolutionFwdAlgo_tAPI函数：cudnnGetConvolutionForwardWorkspaceSize() 本篇列举在darknet代码研读过程中遇到的常用数据类型和API函数。 2021.08.08更新 数据类型：cudnnDataType_t cudnnDataType_t是darknet的cudnn_convolutional_setup()函数中出现的一个数据类型。 它
cuDNN编写卷积实例
weixin_30655569的博客
09-07 820
转载至http://www.goldsborough.me/cuda/ml/cudnn/c++/2017/10/01/14-37-23-convolutions_with_cudnn/ Convolutions are one of the most fundamental building blocks of many modern computer vision model architec...
cudnn使用Gemm和FFT实现的卷积算法的区别
06-09
在cudnn中，卷积操作可以使用两种不同的算法实现：GEMM和FFT。这两种算法各有优缺点，适用于不同的场景。 GEMM算法是一种基于矩阵乘法的卷积算法，它通过将卷积操作转化为矩阵乘法的形式进行计算。GEMM算法简单易实现，可以很好地利用GPU的并行计算能力，特别适合处理小的卷积核尺寸。但是，GEMM算法对于大的卷积核尺寸和大的输入尺寸，需要进行大量的内存拷贝和计算，因此速度较慢，而且需要更多的GPU内存。 FFT算法是一种基于快速傅里叶变换的卷积算法，它通过将卷积操作转化为频域上的点乘操作进行计算。FFT算法对于大的卷积核尺寸和大的输入尺寸有很好的加速效果，因为它可以利用FFT的快速性质，将计算复杂度从O(N^2)降低到O(NlogN)级别。但是，FFT算法对于小的卷积核尺寸和小的输入尺寸，可能由于其内部的计算复杂度较高，导致速度较慢。 总的来说，GEMM算法适用于处理小的卷积核尺寸和小的输入尺寸的场景，而FFT算法适用于处理大的卷积核尺寸和大的输入尺寸的场景。cudnn会根据输入数据的尺寸和卷积核的尺寸自动选择最优的算法来进行计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值