变分自编码器（三）：这样做为什么能成？

https://kexue.fm/archives/5383

话说我觉得我自己最近写文章都喜欢长篇大论了，而且扎堆地来～之前连续写了三篇关于Capsule的介绍，这次轮到VAE了，本文是VAE的第三篇探索，说不准还会有第四篇～不管怎么样，数量不重要，重要的是能把问题都想清楚。尤其是对于VAE这种新奇的建模思维来说，更加值得细细地抠。

这次我们要关心的一个问题是：VAE为什么能成？

估计看VAE的读者都会经历这么几个阶段。第一个阶段是刚读了VAE的介绍，然后云里雾里的，感觉像自编码器又不像自编码器的，反复啃了几遍文字并看了源码之后才知道大概是怎么回事；第二个阶段就是在第一个阶段的基础上，再去细读VAE的原理，诸如隐变量模型、KL散度、变分推断等等，细细看下去，发现虽然折腾来折腾去，最终居然都能看明白了。

这时候读者可能就进入第三个阶段了。在这个阶段中，我们会有诸多疑问，尤其是可行性的疑问：“为什么它这样反复折腾，最终出来模型是可行的？我也有很多想法呀，为什么我的想法就不行？”

前文之要 ↺

让我们再不厌其烦地回顾一下前面关于VAE的一些原理。

VAE希望通过隐变量分解来描述数据XX的分布

p(x)=∫p(x|z)p(z)dz,p(x,z)=p(x|z)p(z)(1)(1)pxpxzpzdzpxzpxzpz

然后对p(x,z)pxz用模型q(x|z)qxz拟合，p(z)pz用模型q(z)qz拟合，为了使得模型具有生成能力，q(z)qz定义为标准正态分布。

 

理论上，我们可以使用边缘概率的最大似然来求解模型：

q(x|z)==argmaxq(x|z)∫p̃ (x)ln(∫q(x|z)q(z)dz)dxargmaxq(x|z)