tensorflow学习--卷积神经网络中的padding参数

卷积中的padding

在构建深度神经网络模型是，一个基本的操作是卷积操作。在卷积操作中有三个常见的参数：

1. 卷积核的大小
2. 卷积核的移动步长
3. padding的方式

例如：

conv1_weights = tf.get_variable('weight',[conv1_size,conv1_size,channels,conv1_deep],initializer=tf.truncated_normal_initializer(stddev=0.1))
conv1 = tf.nn.conv2d(input_tensor,conv1_weights,strides=[1,1,1,1],padding="SAME")

其中padding的参数可以取SAME和VALID，下面通过一个8x8的图像，3x3的卷积核程序来观察一下其区别：

import tensorflow as tf
import numpy as np
x = tf.expand_dims(tf.expand_dims(tf.cast(tf.constant(a.reshape(8,8)),tf.float32),2),0)
f = tf.expand_dims(tf.expand_dims(tf.Variable(tf.random_normal(shape=[3,3],mean=0,stddev=1),name='v1'),2),3)
conv_same_1 = tf.nn.conv2d(x,f,strides=[1,1,1,1],padding="SAME")
conv_same_2 = tf.nn.conv2d(x,f,strides=[1,2,2,1],padding="SAME")
conv_valid_1 = tf.nn.conv2d(x,f,strides=[1,1,1,1],padding="VALID")
conv_valid_2 = tf.nn.conv2d(x,f,strides=[1,2,2,1],padding="VALID")

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print("conv_same_1:",sess.run(conv_same_1).shape)
    print("conv_same_2:",sess.run(conv_same_1).shape)
    print("conv_valid_1:",sess.run(conv_valid_1).shape)
    print("conv_valid_2:",sess.run(conv_valid_2).shape)

conv_same_1: (1, 8, 8, 1)
conv_same_2: (1, 8, 8, 1)
conv_valid_1: (1, 6, 6, 1)
conv_valid_2: (1, 3, 3, 1)

我们可以看到，当我们使用same进行填充时，不管卷积核的步长是多少，输出的维度是和输入的维度相同的，当使用valid进行填充时，输出的维度发生了变化。

1. 当使用valid时卷积时，不进行卷积操作，其输出维度的计算公式为：
   $$W_{output}=\frac{W_{input}-W_f+1}{strids}$$
2. 当使用same进行填充时，要保持输入输出的维度相同，那么要求：
   $$W_{output}=\frac{W_{input}+2p-W_f+1}{strids}=W_{input}$$
   由以上的等式就可以解出填充的宽度p了。

池化操作的padding

池化操作的填充原理与卷积操作的相同，感兴趣的同学可以编程验证一下。

padding的作用

一般来说，padding的作用有2个，其一是保持输入输出的维度一致，其二是，缓解在不填充时，图像边缘像素被卷积的次数与图像中间像素被卷积的次数不平衡的问题。