stride padding_关于Padding实现的一些细节

Padding的值

Padding是指在向量的每一维前后填充一定大小的边界，其常用于在卷积和池化这种具有“滤波”窗口的运算中，以调整输出大小、防止个别数据的丢弃

需要注意的是，Padding并不是真的在向量的前后填充了值，而只是标记了padding的位置

卷积和池化在计算时，会先确定滤波窗口的位置，窗口中如果包含了padding，则padding部分并不参与计算

举一个例子来说明这样处理的合理性

假设在做最大池化，向量的形状如上图，末尾有一padding

如果padding有具体的值，比如说0，则这个窗口的输出就为0，padding的值影响了输出的结果，而舍弃了源数据，这与paddding运算的目的相悖

如果padding的值是一个非常小的值，假设是负无穷，在上面的情形下看似不影响结果，但是无法适用于更多的情况，比如卷积，比如平均池化。所以padding不参与计算也有利于实现上的解耦，显然也更节省内存

Padding模式

Padding运算作用于输入向量的每一维，每一维的操作都是一致的，所以理解Padding的操作，只需要理解一维向量的padding过程

假设一个一维向量，输入形状为input_size，经过滤波操作后的输出形状为output_size，滤波窗口为filter_size，需要padding的个数为padding_needed，滤波窗口滑动步长为stride，则之间满足关系：

由公式可知，指定padding_needed可以确定output_size的值，反过来，如果已知输出的形状，则进而可以确定padding的数量。

这是两种处理padding的方案，pytorch采用的是第一种，即在卷积或池化时先确定padding数量，自动推导输出形状；tensorflow和caffe采用的是更为人熟知的第二种，即先根据Valid还是Same确定输出大小，再自动确定padding的数量

Valid和Same是预设的两种padding模式，Valid指不padding，same指输出大小尽可能和输入大小成比例

下面是tensorflow计算padding的代码：

void 

其中考虑了空洞卷积的情况（dilation），所以稍微复杂一些

另外需要格外注意的，代码中计算了padding_after和padding_before两个值，是指要将padding_needed平均分配到向量的两侧。这就引出一个问题，当padding_needed是奇数时，是在前pad多一些，还是在后面pad多一些？

Padding前后

tensorflow特别指出，当padding个数为奇数时，需要在后面多padding一些

caffe则跟tensorflow相反，caffe采用对称padding，相当于会将多余的padding分配给前面

为了兼容两种框架，需要根据配置对padding的策略进行调整

下面解释CUDNN如何调整padding分配的策略

以池化举例，CUDNN池化kernel的参数有：

handle
    Input. Handle to a previously created cuDNN context.
poolingDesc
    Input. Handle to a previously initialized pooling descriptor.
alpha, beta
    Input. Pointers to scaling factors (in host memory) used to blend the computation result with prior value in the output layer as follows: dstValue = alpha[0]*result + beta[0]*priorDstValue. Please refer to this section for additional details.
xDesc
    Input. Handle to the previously initialized input tensor descriptor.
x
    Input. Data pointer to GPU memory associated with the tensor descriptor xDesc.
yDesc
    Input. Handle to the previously initialized output tensor descriptor.
y
Output. Data pointer to GPU memory associated with the output tensor descriptor yDesc.

CUDNN首先需要先制定输入形状和输出形状，xDesc指定了输入向量的形状，ydesc指定了输出向量的形状

然后CUDNN又通过poolingdesc指定了每一维padding_before的值

所以根据公式可以自然推导padding_after的值