《GAN实战》GANs in Action 第二章 自编码生成模型VAE入门

标准导入

from keras.layers import Input,Dense,Lambda
from keras.models import Model
from keras import backend as K
#from keras import objectives省略原书中这句
from keras import metrics   #增加这句，在做交叉熵时候用到的是metrics.binary_crossentropy
from keras.datasets import mnist
import numpy as np

设置超参数

batch_size=16
original_dim=28*28
latent_dim=2   #潜在空间维度，也可以不是2,2维主要方便画图
intermidiate_dim=256
nb_epoch=5
epsilon_std=1.0

创建采样辅助函数

这个需要提前先定义，书本放在了构建编码器之后

def sampling(args):
  z_mean,z_log_var=args
  epsilon=K.random_normal(shape=(batch_size,latent_dim),mean=0.,epsilon_std=1.0)#在正态分布中（平均数是0，方差是1）中随机生成一个干扰。
  return z_mean+K.exp(z_log_var/2)*epsilon#通过概率密度函数中的参数构造函数，用于随机生成含有干扰项的x在z空间中的样本

构造编码器

x=Input(shape=(original_dim,),name='input')
h=Dense(intermidiate_dim,activation='relu',name='encoding')(x)
z_mean=Dense(latent_dim,name='mean')(h)
z_log_var=Dense(latent_dim,name='log-variance')(h)#这两行写起来一样但是VAE会自己训练到能够区分
z=Lambda(sampling,output_shape=(latent_dim,))([z_mean,z_log_var])
ecoder=Model(x,[z_mean,z_log_var,z],name='ecoder')

编写解码器

input_decoder=Input(shape=(latent_dim,),name='decoder_input')
decoder_h=Dense(intermidiate_dim,activation='relu',name='decoder_h')(input_decoder)
x_decoder=Dense(original_dim,activation='sigmoid',name='flat_decoded')(decoder_h)
decoder=Model(input_decoder,x_decoder,name='decoder')

组合模型

output_combined=decoder(ecoder(x)[2])
vae=Model(x,output_combined)
vae.summary()

定义损失函数

from keras import metrics
def vae_loss(x, x_decoded_mean,z_log_var=z_log_var, z_mean=z_mean,original_dim=original_dim):
#这边的参数需要这样修改，直接都不定义用的时候直接参数不设置，出不来结果，这边是一个很严重的原书错误
    xent_loss = original_dim * metrics.binary_crossentropy(x, x_decoded_mean)#交叉熵，让输入和输出尽量一样。metrics.binary_crossentropy会直接求平均数，但是我们不要平均数，就需要乘以original_dim 
    kl_loss = - 0.5 * K.sum(
        1 + z_log_var - K.square(z_mean) - K.exp(z_log_var), axis=-1)#KL散度经过了复杂计算（我没看懂）得到的结果，用来让潜在空间尽量的去符合一个正态分布，以增加不确定元素，产生新的图像。
    vae_loss = K.mean(xent_loss + kl_loss)
    return vae_loss

修改

vae.add_loss(vae_loss(x,output_combined))#需制定函数的参数
#vae.compile(optimizer='rmsprop', loss=vae_loss)#原书这么做会报错，很难解决
vae.compile(optimizer='rmsprop')
vae.summary()

拆分训练集/测试集

(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape((len(x_train) ,28*28))
x_test = x_test.reshape((len(x_test), 28*28))
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.

训练

vae.fit(x_train,
    x_train,#train和label都是一个图样，输入这个图样出来的结果X*和原始x比较
    shuffle=True,
    epochs=nb_epoch,
    batch_size=batch_size)