分为显式(可以写出函数)和隐式(估计近似函数)
PixelRNN & PixelCNN
已知前面的像素值,就能知道生成下一个像素生成某个值的概率。
因为此处一定是生成的概率最大的点,所以整个过程就是最大化训练数据的似然。
问题: 序列生成太慢。
白色的地方不参与卷积,只有灰色的地方参与。生成的像素和原来的比较,从而调整模型。(静态)
优点: 估计似然函数,由似然函数得到数值来衡量模型好坏。
缺: 慢
Variational Autoencoders VAE
压缩维度,生成有效特征。
编码器作用: 图像分类,无监督特征学习。
性能不如直接有监督学习VGG。因为找的特征不是最有效的。
解码器作用: 图像生成。
但是,此时码空间记录了稀疏的图像。→变分自编码器
编码器不是直接生成降维特征z, 而是生成三维正态分布,解码器从分布采样。
exp部分相当于噪声。此时损失不再是L2正则化,而是:
即σ接近1。
结果:
有限混合不够→无限高斯积分
p(x)由z生成。采样出z*。
优化下界函数Lb。→vae是近似方法。
输入x,产生有损失的分布z, 再次产生有损失的x^.