CUDNN v3特性

原文链接：https://developer.nvidia.com/rdp/cudnn-download

（1）为所有层增加了FP16支持（仅用于存储，所有中间计算仍然使用FP32；

（2）为所有层增加3D支持；

（3）增加新的2D卷积实现：前向和后向计算利用FFT加速。具体参考文档

CUDNN_CONVOLUTION_FWD_ALGO_FFT，

CUDNN_CONVOLUTION_BWD_FILTER_ALGO_FFT，

CUDNN_CONVOLUTION_BWD_DATA_ALGO_FFT。

2DFFT卷积是确定的。

（4）后向Data和Filter 2D卷积目前支持新的确定算法，相应地为CUDNN_CONVOLUTION_BWD_DATA_ALGO1和CUDNN_CONVOLUTION_BWD_FILTER_ALGO1。这些算法在一些场景下优于非确定算法。

类似于前向，用户可以查询最快的算法或根据需要选一个特定算法。

（5）增加了通道间局部响应归一化层（LRN CrossChannel）；

（6）增加了可分离的归一化层。该层可以用于实现通道内 2D或3D LRN和LCN；

（7）增加了对数软最大化层(Log Softmax）；

（8）增加三个新函数

cudnnFindConvolutionForwardAlgorithm,

cudnnFindConvolutionBackwardFilterAlgorithm,

cudnnFindConvolutionBackwardDataAlgorithm。

它们尝试每个可用的卷积算法，按速度和内存需求量排序。

（9）目前下采样层（pooling）支持负补边操作(negative padding）；

Maxwell性能提升

（10）前向卷积算法CUDNN_CONVOLUTION_FWD_ALGO1和data后向卷积算法CUDNN_CONVOLUTION_BWD_DATA_ALGO1在Maxwell架构下的性能大大提升；

后向API兼容性

（11）为了保持后向兼容cuDNN v2.0，更新了几个带后缀_v3的API函数：

cudnnSetConvolutionDescriptor_v3

cudnnGetConvolutionDescriptor_v3

cudnnConvolutionBackwardFilter_v3

cudnnConvolutionBackwardData_v3

原先的函数已经过期。

cuBLAS依赖

（12）新的FFT卷积算法使用了一些cuBLAS函数。在cuDNN应用程序中使用cuDNN动态库无需显式链接cuBLAS库，而使用cuDNN静态库则需要显式链接cuBLAS库。

已知的问题

（13）在Maxwell架构下，当选择CUDNN_CONVOLUTION_BWD_DATA_ALGO1算法，而且补边数目大于滤波器尺寸时函数cudnnConvolutionBackwardData_v3可能给出错误结果。