李宏毅
杭电陈冠希
这个作者很懒,什么都没留下…
展开
-
Attention-based model
ATTENTION在文本处理中的encoder-decoder模型中,用一个 RNN encoder读入context, 得到一个context vector(RNN的最后一个hidden state);然后另一个RNN decoder以这个hidden state为起始state,依次生成target的每一个单词。这种做法的缺点是,无论之前的context有多长,包含多少信息量,最终都要被压缩成一个几百维的vector。这意味着context越大,最终的state vector会丢失越多的信息。正原创 2020-12-28 16:12:16 · 685 阅读 · 1 评论 -
李宏毅GAN7-infoGAN,VAEGAN,BIGAN
传统的GAN是输入一个向量,输出一张图片。我们希望输入向量的每个特征都能有一定的现实意义,但这不表示容易的。往往输入的向量各维度特征对产生的图片影响不明确的。conditional GAN就是在训练过程中,采用VAE的方法,为特征富于某些规律。infoGANinfoGAN的想法就是输入的向量Z可以分解C和Z` 两部分,其中子向量C就是明确地要对输出产生影响的部分。经过generator生成的图片,再经过一个classifier能够解出该图片的表征向量是C。这类似于AE的逆过程(AE将图片编码为一个向量原创 2020-12-09 15:05:49 · 383 阅读 · 0 评论 -
李宏毅GAN6-LSGAN,WGAN,EBGAN
JS divergence is not suitable大多数情况下PG和Pdata是没有重叠的(PG为generator生成数据的概率分布,Pdata是样本数据的概率分布,两者是分布函数)我们在算divergence时,是从两个数据分布(PG&Pdata)中sampling数据,再用discriminator来量他们之间的divergence。但是我们在sampling时数据量是有限的,除非PG&Pdata的相似度很像,否则很难通过少量数据就反应出其overlap情况。因此我们可以近原创 2020-12-09 13:07:33 · 316 阅读 · 0 评论