TensorFlow卷积、池化操作API 及卷积核个数和不同池化的比较

卷积操作API

1. 普通卷积

tf.nn.convlution(input, filter, padding, strides=None, dilation=None, name=None, data_format=None)

2. 二维卷积

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)
    # input:[batch, in_height, in_width, in_channels]
    # filter:[filter_height,filter_wideth,in_channels,out_channels]
    # strides:[1,stride,stride,1]
    # padding: 'SAME' or 'VALID' 'VALID'表示0填充。注意：'SAME'并不是表示输入输出尺寸大小一样，只是考虑边界，如果不够用0填充

3. 单独对每个通道做卷积

tf.nn.depthwise_conv2d(input,filter,strides,padding,name=None)

4. 单独对每个通道做完卷积后再用pointwise filter组合起来

tf.nn.separable_conv2d(input,depthwise_filter,pointwise_filter, strides,padding,name=None)

5. 扩张卷积

tf.nn.atrous_conv2d(value, filters, rate, padding, name=None)

6. 逆卷积

tf.nn.conv2d_transpose(value, filter, output_shape, strides, padding=SAME, data_format=NHWC, name=None)

7. 一维卷积

tf.nn.conv1d(value, filters, stride, padding, use_cudnn_on_gpu=None, name=None)

8. 三维卷积

tf.nn.conv3d(input, filter, strides, padding, name=None)

严格的来说，叫做cross-correlation运算，（卷积的话核要旋转180°）

conv2d

输入数据体尺寸：$W_1\times H_1\times D_1$
滤波器尺寸：$F\times F\times D_1\times D_2$ 有$D_2$个滤波器
步长为$S$，填充为$P$
则输出的的数据体尺寸：$W_2\times H_2\times D_2$
其中：
$W_2=(W_1-F+2P)/S+1$
$H_2=(H_1-F+2P)/S+1$
如果为零填充，即padding='VALID'，则输出尺寸比输入尺寸小了$F-1$圈

池化操作API

池化层也叫汇聚层，能够有效地减少网络中的参数，也能有效地控制过拟合。

1. 平均池化

tf.nn.avg_pool(value, ksize, strides, padding, data_format=NHWC, name=None)

2. 最大池化

tf.nn.max_pool(value, ksize, strides, padding, data_format=NHWC, name=None)
	# valua: [batch, in_height, in_width, in_channels] feature map
	# ksize: 池化窗口的大小 [1,height, width, 1]
	# strides:[1,stride,stride,1]
	# padding: 'SAME' or 'VALID' 一般都是'VALID'
	# data_format: 'NHWC' or 'NCHW'(caffe), 必须和conv2d中一致

3. 找每个最大值处的索引

tf.nn.max_pool_with_argmax(input, ksize, strides, padding, Targmax=None, name=None)

4. 等等

计算

输入数据体尺寸：$W_1\times H_1\times D_1$
滤波器尺寸：$F\times F\times D_1\times D_2$ 有$D_2$个滤波器
步长为$S$，很少有填充
则输出的的数据体尺寸：$W_2\times H_2\times D_2$
其中：
$W_2=(W_1-F)/S+1$
$H_2=(H_1-F)/S+1$
$D_2=D_1$
没有引入参数
池化层通常只有两种形式：

• 重叠池化(overlapping pooling)： F=3， S=2
• 最常用的：F=2，S=2

再大的话，就会对网络有破坏性
实践证明，一般最大池化比平均池化要好

卷积核个数

下面在一个只包含一个卷积层和一个全连接层的网络上，改变卷积核的个数，看看网络性能的变化：

训练集上的损失：

验证集上的损失：

池化

conv+relu+(maxpool or avgpool)+linear_fc