前言
AE(AutoEncoder)是一种无监督学习算法,通过encode和decode过程实现,最简单的AE结构:encode和decode均为一层,和PCA很类似,本文将会介绍基于卷积的AE,encode阶段设置成三个卷积层,decode阶段设置成三个卷积层,其中encode的第三层输出维度为2,使得code为一个二维向量。
结构设计
我最初只设计了两层的卷积,输出128维,在MNIST数据集上面的cost能达到0.076左右,添加第三层之后,输出2维,在MNIST数据集上面的cost能达到0.059,模型性能得以提升。
代码实现
设计编码器
def encoder(x):
# Encoder Hidden layer with sigmoid activation
layer_1 = tf.nn.relu(tf.add(tf.matmul(x, weights['encoder_h1']),
biases['encoder_b1']))
layer_2 = tf.nn.relu(tf.add(tf.matmul(layer_1, weights['encoder_h2']),
biases['encoder_b2']))
layer_3 = tf.nn.relu(tf.add(tf.matmul(layer_2, weights['encoder_h3']),
biases['encoder_b3']))
return layer_3
设计解码器
def decoder(x):
# Encoder Hidden layer with sigmoid activation
layer_1 = tf.nn.relu(tf.add(tf.matmul(x, weights['decoder_h1']),
biases['decoder_b1']))
layer_2 = tf.nn.relu(tf.add(tf.matmul(layer_1, weights['decoder_h2']),
biases['decoder_b2']))
layer_3 = tf.nn.relu(tf.add(tf.matmul(layer_2, weights['decoder_h3']),
biases['decoder_b3']))
return layer_3