2020-4-26 深度学习笔记20 - 深度生成模型 6 （从自编码器采样，生成随机网络GSN，其他生成方案，评估生成模型）

第二十章 深度生成模型 Deep Generative Models

中文
英文

2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机，受限玻尔兹曼机RBM)
2020-4-18 深度学习笔记20 - 深度生成模型 2 (深度信念网络DBN，深度玻尔兹曼机DBM)
2020-4-20 深度学习笔记20 - 深度生成模型 3 (实值数据上的玻尔兹曼机)
2020-4-21 深度学习笔记20 - 深度生成模型 4 (卷积玻尔兹曼机，用于结构化或序列输出的玻尔兹曼机，其他玻尔兹曼机，通过随机操作的反向传播)
2020-4-22 深度学习笔记20 - 深度生成模型 5 (有向生成网络–sigmoid信念网络/可微生成器网络/变分自编码器VAE/生产对抗网络GAN/生成矩匹配网络)
2020-4-23 深度学习笔记20 - 深度生成模型 5 (有向生成网络【续】–卷积生成网络/自回归网络(线性，神经，NADE))

从自编码器采样

在第十四章在中，我们看到许多种学习数据分布的自编码器。

某些类型的自编码器，例如变分自编码器，明确地表示概率分布并且允许直接的原始采样。 而大多数其他类型的自编码器则需要MCMC采样。

收缩自编码器被设计为恢复数据流形切面的估计。 这意味着使用注入噪声的重复编码和解码将引起沿着流形表面的随机游走。 这种流形扩散技术是马尔可夫链的一种。

更一般的马尔可夫链还可以从任何去噪自编码器中采样。

1-与任意去噪自编码器相关的马尔可夫链

根据估计分布生成的马尔可夫链的每个步骤由以下子步骤组成

如上图所示

• 从先前状态$x$开始，注入损坏噪声，从$C(\tilde{x}\mid x)$中采样$\tilde{x}$。
• 将$\tilde{x}$编码为$h=f(\tilde{x})$。
• 解码$h$以获得 p ( x ∣ ω =