V5.1
新增特性
- 针对3*3以及5*5de 卷积核,添加了新的Winograd卷积算法,提供前向和后向计算。可以通过使用CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD_NONFUSED,CUDNN_CONVOLUTION_BWD_DATA_ALGO_WINOGRAD_NONFUSED以及CUDNN_CONVOLUTION_BWD_FILTER_ALGO_WINOGRAD_NONFUSED触发使用。
- cudnnConvolutionBackwardData以及cudnnConvolutionBackwardFilter扩展了针对FP16计算的支持
- 为很多常用的例子优化了LRN的性能
cudnn5.1与cudnn5.0接口保持完全兼容
V6
新增特性
- 空洞卷积(也称为膨胀卷积)Dilated Convolutions。目前在Cudnn中添加了对Dilated Convolution的支持,这一支持并未改变API。之前在Convolution Descriptor中未使用的域“upscale”,被定义成允许用户指定每个维度上的膨胀因子。当前对dilation的支持可以通过一下代码路径获取,
- Forward:CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM
- Backward Data: CUDNN_CONVOLUTION_BWD_DATA_ALOGO_0
Backward Filter: CUDNN_CONVOLUTION_BWD_FILTER_ALGO_0
新添加的接口cudnnConvolutionBiasActivationForward允许单个kernel中混合Convolution, bias以及activation操作。目前只支持单通道bias以及RELU激活函数。