tensorflow中的卷积和反卷积

介绍
惯例先展示函数：

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

除去name参数用以指定该操作的name，与方法有关的一共五个参数：

input： 
指需要做卷积的输入图像，它要求是一个Tensor，具有[batch, in_height, in_width, in_channels]这样的shape，具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数]，注意这是一个4维的Tensor，要求类型为float32和float64其中之一

filter： 
相当于CNN中的卷积核，它要求是一个Tensor，具有[filter_height, filter_width, in_channels, out_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，图像通道数，卷积核个数]，要求类型与参数input相同，有一个地方需要注意，第三维in_channels，就是参数input的第四维

strides：卷积时在图像每一维的步长，这是一个一维的向量，长度4

padding： 
string类型的量，只能是”SAME”,”VALID”其中之一，这个值决定了不同的卷积方式（后面会介绍）

use_cudnn_on_gpu： 
bool类型，是否使用cudnn加速，默认为true

结果返回一个Tensor，这个输出，就是我们常说的feature map

实验
那么TensorFlow的卷积具体是怎样实现的呢，用一些例子去解释它：

1.考虑一种最简单的情况，现在有一张3×3单通道的图像（对应的shape：[1，3，3，1]），用一个1×1的卷积核（对应的shape：[1，1，1，1]）去做卷积，最后会得到一张3×3的feature map

2.增加图片的通道数，使用一张3×3五通道的图像（对应的shape：[1，3，3，5]），用一个1×1的卷积核（对应的shape：[1，1，1，1]）去做卷积，仍然是一张3×3的feature map，这就相当于每一个像素点，卷积核都与该像素点的每一个通道做点积

input = tf.Variable(tf.random_normal([1,3,3,5]))
filter = tf.Variable(tf.random_normal([1,1,5,1]))

op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')

3.把卷积核扩大，现在用3×3的卷积核做卷积，最后的输出是一个值，相当于情况2的feature map所有像素点的值求和

input = tf.Variable(tf.random_normal([1,3,3,5]))
filter = tf.Variable(tf.random_normal([3,3,5,1]))

op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')

4.使用更大的图片将情况2的图片扩大到5×5，仍然是3×3的卷积核，令步长为1，输出3×3的feature map

.....
.xxx.
.xxx.
.xxx.
.....

5.上面我们一直令参数padding的值为‘VALID’，当其为‘SAME’时，表示卷积核可以停留在图像边缘，如下，输出5×5的feature map

input = tf.Variable(tf.random_normal([1,5,5,5]))
filter = tf.Variable(tf.random_normal([3,3,5,1]))

op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')

xxxxx
xxxxx
xxxxx
xxxxx
xxxxx

6.如果卷积核有多个

input = tf.Variable(tf.random_normal([1,5,5,5]))
filter = tf.Variable(tf.random_normal([3,3,5,7]))

op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')

此时输出7张5×5的feature map

7.步长不为1的情况，文档里说了对于图片，因为只有两维，通常strides取[1，stride，stride，1]

input = tf.Variable(tf.random_normal([1,5,5,5]))
filter = tf.Variable(tf.random_normal([3,3,5,7]))

op = tf.nn.conv2d(input, filter, strides=[1, 2, 2, 1], padding='SAME')

此时，输出7张3×3的feature map

x.x.x
.....
x.x.x
.....
x.x.x

8.如果batch值不为1，同时输入10张图

input = tf.Variable(tf.random_normal([10,5,5,5]))
filter = tf.Variable(tf.random_normal([3,3,5,7]))

op = tf.nn.conv2d(input, filter, strides=[1, 2, 2, 1], padding='SAME')

每张图，都有7张3×3的feature map，输出的shape就是[10，3，3，7]

反卷积出自这篇论文：Deconvolutional Networks，有兴趣的同学自行了解

首先无论你如何理解反卷积，请时刻记住一点，反卷积操作是卷积的反向

如果你随时都记住上面强调的重点，那你基本就理解一大半了，接下来通过一些函数的介绍为大家强化这个观念

conv2d_transpose(value, filter, output_shape, strides, padding="SAME", data_format="NHWC", name=None)

x1 = tf.constant(1.0, shape=[1,3,3,1])
kernel = tf.constant(1.0, shape=[3,3,3,1])

先别着急！我们不直接用反卷积函数，而是再定义一些图
x2 = tf.constant(1.0, shape=[1,6,6,3])
x3 = tf.constant(1.0, shape=[1,5,5,3])

x2是6×6的3通道图，x3是5×5的3通道图
好了，接下来对x3做一次卷积操作
y2 = tf.nn.conv2d(x3, kernel, strides=[1,2,2,1], padding="SAME")

所以返回的y2是一个单通道的图，如果你了解卷积过程，很容易看出来y2是[1，3，3，1]的Tensor，y2的结果如下：
[[[[ 12.]
   [ 18.]
   [ 12.]]
 
  [[ 18.]
   [ 27.]
   [ 18.]]
 
  [[ 12.]
   [ 18.]
   [ 12.]]]]

又一个很重要的部分！tf.nn.conv2d中的filter参数，是[filter_height, filter_width, in_channels, out_channels]的形式，而tf.nn.conv2d_transpose中的filter参数，是[filter_height, filter_width, out_channels，in_channels]的形式，注意in_channels和out_channels反过来了！因为两者互为反向，所以输入输出要调换位置
既然y2是卷积操作的返回值，那我们当然可以对它做反卷积，反卷积操作返回的Tensor，应该和x3的shape是一样的（不难理解，因为是卷积的反过程）
y3 = tf.nn.conv2d_transpose(y2,kernel,output_shape=[1,5,5,3], strides=[1,2,2,1],padding="SAME")

好，现在返回的y3果然是[1，5，5，3]的Tensor，结果如下：
[[[[ 12.  12.  12.]
   [ 30.  30.  30.]
   [ 18.  18.  18.]
   [ 30.  30.  30.]
   [ 12.  12.  12.]]
 
  [[ 30.  30.  30.]
   [ 75.  75.  75.]
   [ 45.  45.  45.]
   [ 75.  75.  75.]
   [ 30.  30.  30.]]
 
  [[ 18.  18.  18.]
   [ 45.  45.  45.]
   [ 27.  27.  27.]
   [ 45.  45.  45.]
   [ 18.  18.  18.]]
 
  [[ 30.  30.  30.]
   [ 75.  75.  75.]
   [ 45.  45.  45.]
   [ 75.  75.  75.]
   [ 30.  30.  30.]]
 
  [[ 12.  12.  12.]
   [ 30.  30.  30.]
   [ 18.  18.  18.]
   [ 30.  30.  30.]
   [ 12.  12.  12.]]]]

这个结果是怎么得来的？可以用一张动图来说明,图片来源：反卷积的真正含义

看起来，tf.nn.conv2d_transpose的output_shape似乎是多余的，因为知道了原图，卷积核，步长显然是可以推出输出图像大小的，那为什么要指定output_shape呢？
看这样一种情况：
y4 = tf.nn.conv2d(x2, kernel, strides=[1,2,2,1], padding="SAME")

我们把上面的x2也做卷积，获得shape为[1，3，3，1]的y4如下：
[[[[ 27.]
   [ 27.]
   [ 18.]]
 
  [[ 27.]
   [ 27.]
   [ 18.]]
 
  [[ 18.]
   [ 18.]
   [ 12.]]]]

[1，6，6，3]和[1，5，5，3]的图经过卷积得到了相同的大小，[1，3，3，1]
让我们再反过来看，那么[1，3，3，1]的图反卷积后得到什么呢？产生了两种情况。所以这里指定output_shape是有意义的，当然随意指定output_shape是不允许的，如下情况程序会报错：
y5 = tf.nn.conv2d_transpose(x1,kernel,output_shape=[1,10,10,3],strides=[1,2,2,1],padding="SAME")

以上是stride为2的情况，为1时也类似，当卷积核大于原图时，默认用VALID方式（用SAME就无意义了）
--------------------- 
作者：xf__mao 
来源：CSDN 
原文：https://blog.csdn.net/mao_xiao_feng/article/details/71713358 
版权声明：本文为博主原创文章，转载请附上博文链接！