讲解三种Generative Model:PixelRNN、Variation Auto-encoder、Generative Adversavial Network
一、PixelRNN
利用前面已知的像素和预测的像素逐一对后面的像素进行预测。如图所示,输入是变化的,第一次使用一个像素预测后面的像素,随后使用前面两个像素预测再后面的像素。。。
以下是声信号的预测,RNN逐一根据前面的n个片段输出一个新片段。
图像预测训练实验:对于给定部分遮挡图预测整幅图片。
处理tips:RGB颜色数据量比较大,实验对相似颜色进行合并,然后做one-hot编码,得到167种颜色(像素),实验简单的使用了1层LSTM+512cells,训练之后预测结果如图所示。
二、变分自编码器:Variance Auto-encoder(VAE)
结构:采用普通的自编码器重建训练样本,当随机输入一个input时,模型产生的预测值可能并不理想,因此提出了一种VAE模型,它对编码的code做了改进,对于每一个样本,让其产生两个code——图中的[m1,m2,m3]与[σ1,σ2,σ3](实际上是想让编码器自动将code拆分成两部分,code的均值与标准差,它反映了所有样