Deep Generative Model

from:https://www.youtube.com/watch?v=8zomhgKrsmQ&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=27

PixelRNN

把逐个像素放入网络中,output为下一个像素

Variational Autoencoder(VAE)

这里要同时Minimize reconstruction error和 

为什么要使用VAE而不直接用auto-encoder呢?

从直觉上来说,VAE相当于在中间的code上加了noise

只minimize 它们的 reconstruction error是不行的

因为对于噪声,其中𝜎是通过encoder自己学到的,且没有任何限制,variance就可能会趋向于0,那VAE和auto-encoder没什么区别了。加入\sum _{i=1}^3{(exp(\sigma _i) - (1+\sigma _i) +(m_i)^2)}其实是对variance的限制。

如图,其中蓝线是exp(𝜎),红线是(1+𝜎),绿线是两者之差。可以看到 minimize 这一项,得到的 𝜎 最小值为0,此时variance 为1。(m_i)^2可以看作是正则项。

 

GAN

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值