破解VAE的迷思

VAE生成的图像比较模糊，个中原因一直缺乏让人信服的解释。经常有人聚焦在KL损失上，而笔者认为本质上这是一个工程问题。至于为什么GAN生成的图像不模糊，请参考VAE的哲学，GAN的哲学。

我们首先观察一下VAE的任务。要学的图像是高维空间中一些离散的点，VAE试图把它们压缩到一个低维连续空间（也就是潜空间），再复原回原空间。这么做是基于这样的假设——那就是要学习的实际上是嵌入高维空间的低维流形，然而真实图形中的细节显然不全是某种低维流形，有些图像细节，比如处于空间中的头发，肤质，真实纹理质感，即使是某种流形，也很难用低数据量描述，或很难学得用低数据量描述。考虑到其他深度网络都是使用一个过容量（表示容量）的网络来学习一个简单平滑的函数，VAE使用一个瓶颈式的潜空间向量去实现前述任务就显得不太现实了。

因此，VAE无法还原图像的细节，看上去缺乏真实感，同时，在不能还原的前提下，为了降低损失，只有输出平均值，对于人脸来说，就是生成一张大众脸。如果潜空间向量使用比较低的维数，原图中的人脸即使被遮挡了，还原图像也会生成被遮挡的部分，因为大多数训练样本是一张完整的脸。如果像AI生成模型之人脸变换（一） VAE一样使用比较大的潜空间向量维数，还原质量会好一些，也不会出现人脸自动去遮挡的效果，但是采样质量较差。因为潜空间变大了，高维空间的离散点映射过来，