VAE学习

(选修)To Learn More - Unsupervised Learning - Deep Generative Model (Part II)_哔哩哔哩_bilibili

 

 

利用变分推断把log(P(x))分解成Lb和KL。KL缩小时作为下界的Lb会接近log(P(x))，此时再增大Lb，则log(P(x))一定增大。但是VAE实际操作时是没有管KL这项的。它只调了P(x|z) 和 Q(z|x)来max(Lb)。也就是说VAE始终只是在max一个下界。在我们max(Lb)时，KL会变小(其实是我们一厢情愿)，q(z|x)和p(z|x)越来越接近。作为副产物，模型学出的q(z|x)就是后验p(z|x)，即变分推断

encoder 输出两个向量 m是原本Auto-encoder的中间输出，VAE在m的基础上加了个noise。另一个角度：VAE encoder产生z|x的分布，然后我们去sample一个z,但是sample这个操作不可导，所以使用重参数化技巧，从正太分布中sample出e然后乘方差加均值m得到c

使用L1等Loss问题，在对比网络输出与groundTrue是否相近时，出错的像素在不同的位置是有不同影响的，如数字"7"，在"7"末尾多一个像素和变成"7."两者都是差一个像素，但一个是7一个不是。