纪念VAE

最新推荐文章于 2022-09-27 10:46:08 发布

小月车干

最新推荐文章于 2022-09-27 10:46:08 发布

阅读量120

点赞数

本文链接：https://blog.csdn.net/weixin_42984932/article/details/116545099

版权

本文旨在纪念理解VAE的过程，介绍了VAE的结构，即编码器获取隐变量，解码器生成数据。训练后，解码器可用于生成新的数据。VAE的关键在于误差函数，其优化目标是似然函数的下界，包含KL散度和期望项。期望项的计算可以通过特定方法改写，反映模型生成数据与原始数据的差异。VAE作为深度生成模型，如使用MLP作为编码器和解码器，能够生成遵循特定分布的数据，例如伯努利或正态分布。

摘要由CSDN通过智能技术生成

深觉着自己该写点东西纪念一下看了半天才懂的VAE，首先推导就非常的常见，具体可以参考博客：
VAE详细推导
总的来说结构就是这么个结构，先编码得到隐变量再解码生成数据：
VAE结构
然后训练完了以后呢就可以直接用解码器去随意生成数据辣！
但是这里有个理解的gap：就是为什么我可以用不同的图片去训练它呢，比如MNIST训练集。嗯！其实呢这一点我理解了一会儿，实际上我们不需要把它们看作是不同的图片，我们需要把它们看作是服从同一个分布的样本点，只是这些样本点刚好是这些图片，所以可能这就是为什么生成的数据是逃不开原始的样本的霸。
然后VAE中最重要的其实是这个误差函数，至于为什么是优化这个误差函数实际上很多文章都讲过了，就是去优化它的似然函数下界，至于KL散度那一项，实际上也有很多文章论证过并且给出结果了，结果对于变量z为标准正态分布就是，-KL：
在这里插入图片描述
让人头秃的是期望那一项，实际上最原始的VAE是这样：

这是对