cuDNN概述

最新推荐文章于 2024-08-15 18:45:00 发布

wujianming_110117

最新推荐文章于 2024-08-15 18:45:00 发布

阅读量3.2k

点赞数 1

分类专栏：半导体芯片材料计算机软件智能推理

吴建明

本文链接：https://blog.csdn.net/wujianing_110117/article/details/111829738

版权

cuDNN是NVIDIA提供的深度学习库，为GPU加速的深度神经网络原语提供高度优化的实现，支持多种框架如PyTorch和TensorFlow。cuDNN 8针对A100 GPU优化，提供5倍于V100的性能，并引入新API、低级API和融合运算符，以提升控制和性能。库支持TensorFloat-32、FP16、FP32等多种格式，适用于卷积、计算机视觉、语音和语言模型。

摘要由CSDN通过智能技术生成

cuDNN概述
NVIDIACUDA®深度神经网络库（cuDNN）是GPU加速的用于深度神经网络的原语库。cuDNN为标准例程提供了高度优化的实现，例如向前和向后卷积，池化，规范化和激活层。
全球的深度学习研究人员和框架开发人员都依赖cuDNN来实现高性能GPU加速。它使他们可以专注于训练神经网络和开发软件应用程序，而不必花时间在底层GPU性能调整上。cuDNN的加快广泛使用的深度学习框架，包括Caffe2，Chainer，Keras，MATLAB，MxNet，PyTorch和TensorFlow。已将cuDNN集成到框架中的NVIDIA优化深度学习框架容器，访问NVIDIA GPU CLOUD了解更多信息并开始使用。
在这里插入图片描述

8x Tesla V100 + cuDNN 7.6 on 20.03 NGC container vs. 8x Tesla A100 + cuDNN 8.0 Preview on Pre-Release NGC container. MaskRCNN, PyTorch TF32 vs FP32, Batch Size: 8. GNMT, PyTorch TF32 vs FP32, Batch Size: 512. WaveGlow, PyTorch TF32 vs FP32, Batch Size: 10. U-Net Medical, TensorFlow FP16 (Mixed) vs FP16, Batch Size: 16. U-Net Industrial, TensorFlow FP16 (Mixed) vs FP16, Batch Size: 24. TacoTron2, PyTorch FP16 (Mixed) vs FP16, Batch Size: 128.