基于TensorFlow实现AutoEncoder

前言

AE（AutoEncoder）是一种无监督学习算法，通过encode和decode过程实现，最简单的AE结构：encode和decode均为一层，和PCA很类似，本文将会介绍基于卷积的AE，encode阶段设置成三个卷积层，decode阶段设置成三个卷积层，其中encode的第三层输出维度为2，使得code为一个二维向量。

结构设计

我最初只设计了两层的卷积，输出128维，在MNIST数据集上面的cost能达到0.076左右，添加第三层之后，输出2维，在MNIST数据集上面的cost能达到0.059，模型性能得以提升。

代码实现

设计编码器

def encoder(x):
    # Encoder Hidden layer with sigmoid activation
    layer_1 = tf.nn.relu(tf.add(tf.matmul(x, weights['encoder_h1']),
                                   biases['encoder_b1']))
    layer_2 = tf.nn.relu(tf.add(tf.matmul(layer_1, weights['encoder_h2']),
                                   biases['encoder_b2']))
    layer_3 = tf.nn.relu(tf.add(tf.matmul(layer_2, weights['encoder_h3']),
                                   biases['encoder_b3']))
    return layer_3

设计解码器

def decoder(x):
    # Encoder Hidden layer with sigmoid activation
    layer_1 = tf.nn.relu(tf.add(tf.matmul(x, weights['decoder_h1']),
                                   biases['decoder_b1']))
    layer_2 = tf.nn.relu(tf.add(tf.matmul(layer_1, weights['decoder_h2']),
                                   biases['decoder_b2']))
    layer_3 = tf.nn.relu(tf.add(tf.matmul(layer_2, weights['decoder_h3']),
                                   biases['decoder_b3']))
    return layer_3