Cudnn v5.1与V 6.0的特性

V5.1

新增特性

1. 针对3*3以及5*5de 卷积核，添加了新的Winograd卷积算法，提供前向和后向计算。可以通过使用CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD_NONFUSED,CUDNN_CONVOLUTION_BWD_DATA_ALGO_WINOGRAD_NONFUSED以及CUDNN_CONVOLUTION_BWD_FILTER_ALGO_WINOGRAD_NONFUSED触发使用。
2. cudnnConvolutionBackwardData以及cudnnConvolutionBackwardFilter扩展了针对FP16计算的支持
3. 为很多常用的例子优化了LRN的性能

cudnn5.1与cudnn5.0接口保持完全兼容

V6

新增特性

1. 空洞卷积（也称为膨胀卷积）Dilated Convolutions。目前在Cudnn中添加了对Dilated Convolution的支持，这一支持并未改变API。之前在Convolution Descriptor中未使用的域“upscale”,被定义成允许用户指定每个维度上的膨胀因子。当前对dilation的支持可以通过一下代码路径获取，
2. Forward：CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM
3. Backward Data: CUDNN_CONVOLUTION_BWD_DATA_ALOGO_0

4. Backward Filter: CUDNN_CONVOLUTION_BWD_FILTER_ALGO_0

5. 新添加的接口cudnnConvolutionBiasActivationForward允许单个kernel中混合Convolution, bias以及activation操作。目前只支持单通道bias以及RELU激活函数。