标准导入
from keras.layers import Input,Dense,Lambda
from keras.models import Model
from keras import backend as K
#from keras import objectives省略原书中这句
from keras import metrics #增加这句,在做交叉熵时候用到的是metrics.binary_crossentropy
from keras.datasets import mnist
import numpy as np
设置超参数
batch_size=16
original_dim=28*28
latent_dim=2 #潜在空间维度,也可以不是2,2维主要方便画图
intermidiate_dim=256
nb_epoch=5
epsilon_std=1.0
创建采样辅助函数
这个需要提前先定义,书本放在了构建编码器之后
def sampling(args):
z_mean,z_log_var=args
epsilon=K.random_normal(shape=(batch_size,latent_dim),mean=0.,epsilon_std=1.0)#在正态分布中(平均数是0,方差是1)中随机生成一个干扰。
return z_mean+K.exp(z_log_var/2)*epsilon#通过概率密度函数中的参数构造函数,用于随机生成含有干扰项的x在z空间中的样本
构造编码器
x=Input(shape=(original_dim,),name='input')
h=Dense(intermidiate_dim,activation='relu',name='encoding')(x)
z_mean=Dense(latent_dim,name='mean')(h)
z_log_var=Dense(latent_dim,name='log-variance')(h)#这两行写起来一样但是VAE会自己训练到能够区分
z=Lambda(sampling,output_shape=(latent_dim,))([z_mean,z_log_var])
ecoder=Model(x,[z_mean,z_log_var,z],name='ecoder')
编写解码器
input_decoder=Input(shape=(latent_dim,),name='decoder_input')
decoder_h=Dense(intermidiate_dim,activation='relu',name='decoder_h')(input_decoder)
x_decoder=Dense(original_dim,activation='sigmoid',name='flat_decoded')(decoder_h)
decoder=Model(input_decoder,x_decoder,name='decoder')
组合模型
output_combined=decoder(ecoder(x)[2])
vae=Model(x,output_combined)
vae.summary()
定义损失函数
from keras import metrics
def vae_loss(x, x_decoded_mean,z_log_var=z_log_var, z_mean=z_mean,original_dim=original_dim):
#这边的参数需要这样修改,直接都不定义用的时候直接参数不设置,出不来结果,这边是一个很严重的原书错误
xent_loss = original_dim * metrics.binary_crossentropy(x, x_decoded_mean)#交叉熵,让输入和输出尽量一样。metrics.binary_crossentropy会直接求平均数,但是我们不要平均数,就需要乘以original_dim
kl_loss = - 0.5 * K.sum(
1 + z_log_var - K.square(z_mean) - K.exp(z_log_var), axis=-1)#KL散度经过了复杂计算(我没看懂)得到的结果,用来让潜在空间尽量的去符合一个正态分布,以增加不确定元素,产生新的图像。
vae_loss = K.mean(xent_loss + kl_loss)
return vae_loss
修改
vae.add_loss(vae_loss(x,output_combined))#需制定函数的参数
#vae.compile(optimizer='rmsprop', loss=vae_loss)#原书这么做会报错,很难解决
vae.compile(optimizer='rmsprop')
vae.summary()
拆分训练集/测试集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape((len(x_train) ,28*28))
x_test = x_test.reshape((len(x_test), 28*28))
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
训练
vae.fit(x_train,
x_train,#train和label都是一个图样,输入这个图样出来的结果X*和原始x比较
shuffle=True,
epochs=nb_epoch,
batch_size=batch_size)