Tensorflow反池化操作

   TensorFlow中目前还没有反池化操作的函数。对于最大池化， 也不支持输出最大激活值的位置，但是同样有个池化的反向传播函数tf.nn.max_pool_with_argmax。该函数可以输出位置， 需要开发者利用这个函数做一些改动， 自己封装一个最大池化操作， 然后再根据 mask写出反池化函数， 下面以返最大池化为例。

实例描述

定义一个数组作为模拟图片， 将其进行最大池化， 接着再进行反池化，比较原始数据与反池化后的数据。首先重新定义最大池化函数， 代码如下。

import tensorflow as tf

def max_poo_with_argmax(net, stride):
    _, mask = tf.nn.max_pool_with_argmax(net, ksize=[1, stride, stride, 1], strides=[1, stride, stride, 1], padding='SAME')
    mask = tf.stop_gradient(mask)
    net = tf.nn.max_pool(net, ksize=[1, stride, stride, 1], strides=[1, stride, stride, 1], padding='SAME')
    return net, mask

在上面的代码里， 先调用tf.nn.max_pool_with_argmax函数获得每个最大值的位置mask， 再将反向传播的mask梯度计算停止，接着再调用tf.nn.max_pool函数计算最大池化操作，然后将mask和池化结果一起返回。

注意：tf.nn.max_pool_with_argmax的方法现在只支持GPU操作，所以利用这个方法目前还不能在CPU机器上使用

接下来定义一个数组， 并使用最大池化函数对其进行池化操作， 比较一下与自带的tf.nn.max_pool函数是否一样， 看看输出的mask是什么效果。

img = tf.constant([
    [[0.0, 4.0], [0.0, 4.0], [0.0, 4.0], [0.0, 4.0]],
    [[1.0, 5.0], [1.0, 5.0], [1.0, 5.0], [1.0, 5.0]],
    [[2.0, 6.0], [2.0, 6.0], [2.0, 6.0], [2.0, 6.0]],
    [[3.0, 7.0], [3.0, 7.0], [3.0, 7.0], [3.0, 7.0]]
])
img = tf.reshape(img, [1, 4, 4, 2])
pooling2 = tf.nn.max_pool(img, [1, 2, 2, 1], [1, 2, 2, 1], padding='SAME')
encode, mask = max_poo_with_argmax(img, 2)
with tf.Session() as sess:
    print('image:\n', sess.run(img))
    print('pooling2:\n', sess.run(pooling2))
    print('encode:\n', sess.run(encode))
    print('mask:\n', sess.run(mask))
    print('flateen\n', sess.run(tf.reshape(img, [-1, 4*4*2])))

代码运行后， 可以看到， 定义的最大池化与原来的版本输出是一样的。mask的值是将整个数组flat(扁平化)后的索引， 但却保持与池化结果一致的shape.

了解这些信息后， 就可以接着写代码， 定义一个反最大池化的操作了。

def unpool(net, mask, stride):
    ksize = [1, stride, stride, 1]
    input_shape = net.get_shape().as_list()
    #计算new shape
    output_shape = (input_shape[0], input_shape[1]*ksize[1], input_shape[2]*ksize[2], input_shape[3])
    #计算索引
    one_like_mask = tf.ones_like(mask)
    batch_range = tf.reshape(tf.range(output_shape[0], dtype=tf.int64), shape=[input_shape[0], 1, 1, 1])
    b = one_like_mask * batch_range
    y = mask // (output_shape[2] * output_shape[3])
    x = mask % (output_shape[2] * output_shape[3]) // output_shape[3]
    feature_range = tf.range(output_shape[3], dtype=tf.int64)
    f = one_like_mask * feature_range
    #转置索引
    update_size = tf.size(net)
    indices = tf.transpose(tf.reshape(tf.stack([b, y, x, f]), [4, update_size]))
    values = tf.reshape(net, [update_size])
    ret = tf.scatter_nd(indices, values, output_shape)
    return ret

上面代码的大概思路是找到mask对应的索引， 将max的值填到指定的地方。（书上说这里不做过多解释， 不解释，好使就行哈）

下面调用反池化函数， 一起看看结果哈：

img2 = unpool(encode, mask, 2)
with tf.Session() as sess:
    print('unpool_img',sess.run(img2))

可以看到，最大值已经填入了对应的位置，其他地方则补零。