from:https://www.youtube.com/watch?v=8zomhgKrsmQ&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=27
PixelRNN
把逐个像素放入网络中,output为下一个像素
Variational Autoencoder(VAE)
这里要同时Minimize reconstruction error和
为什么要使用VAE而不直接用auto-encoder呢?
从直觉上来说,VAE相当于在中间的code上加了noise
只minimize 它们的 reconstruction error是不行的
因为对于噪声,其中𝜎是通过encoder自己学到的,且没有任何限制,variance就可能会趋向于0,那VAE和auto-encoder没什么区别了。加入
其实是对variance的限制。
如图,其中蓝线是exp(𝜎),红线是(1+𝜎),绿线是两者之差。可以看到 minimize 这一项,得到的 𝜎 最小值为0,此时variance 为1。可以看作是正则项。
GAN