生成模型(VAE,GAN,GLOW)
whitenightwu
这个作者很懒,什么都没留下…
展开
-
生成模型--综述1
变分推断、VAE、GAN EM 算法、VAE、GAN、AAE、ALI (BiGAN) 都可以作为变分推断的某个特例。标准的 GAN 的优化目标是不完备的,这可以解释为什么 GAN 的训练需要谨慎地选择各个超参数,当然改善这种不完备性并增强 GAN 训练的稳定性的一种常用方法就是增加一个正则项。 对抗自编码器(Adversarial Autoencoders,AAE)和对抗推断学习(Adve...原创 2018-10-25 13:22:13 · 2398 阅读 · 0 评论 -
生成模型--GAN与NLP
GAN与NLP GAN是否可以应用到NLP上? Yoshua Bengio 的得意门生 Ian Goodfellow 博士回答了这个问题: GANs 目前并没有应用到自然语言处理(NLP)中,因为 GANs 仅仅定义在真值数据中,GANs 通过训练出的生成器来产生合成数据,然后在合成数据上运行判别器,判别器的输出梯度将会告诉你,如何通过略微改变合成数据而使其更加现实。 只有在数据连...原创 2018-10-29 10:46:53 · 1210 阅读 · 0 评论 -
生成模型--Glow,基于流的生成模型
Glow,基于流的生成模型 生成模型只能受限于 GAN 和 VAE 吗?答案是否的。基于流的生成模型在 2014 年已经被提出,但是一直被忽视。由 OpenAI 带来的 Glow 展示了流生成模型强大的图像生成能力。 在 Glow 论文之前,有两个基于流的生成模型 NICE 和 RealNVP,这两个是glow的基石。glow的优点 1)精确的潜在变量推断和对数似然评估,在 VAE ...原创 2018-10-29 10:49:38 · 5129 阅读 · 0 评论 -
生成模型--综述2
生成模型的本质 本质就是希望用一个我们知道的概率模型来拟合所给的数据样本,也就是说,我们得写出一个带参数 θ 的分布 qθ(x)。然而,我们的神经网络只是“万能函数拟合器”,却不是“万能分布拟合器”,也就是它原则上能拟合任意函数,但不能随意拟合一个概率分布,因为概率分布有“非负”和“归一化”的要求。这样一来,我们能直接写出来的只有离散型的分布,或者是连续型的高斯分布。两种 1)自回归流...原创 2018-10-29 10:53:56 · 1380 阅读 · 2 评论 -
生成模型--生成式对抗网络(GAN,Generative Adversarial Networks)综述
生成式对抗网络(GAN,Generative Adversarial Networks) 无监督深度学习,除了强化学习,主要包括BM、自动编码器AE和GAN领域。 是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。 它由两个成对的网络协同运作,即生成模型(Generative Model)和判别模型(Discriminative Model),两者的的互相博弈学习产生...原创 2018-10-26 10:10:06 · 7050 阅读 · 0 评论 -
生成模型--DCGAN(Deep Convolution GAN)
DC-GAN(Deep Convolution GAN) 用深度卷积网络进行对抗生成网络的建模。 最早的时候,GAN采用的是全连接层。而后也有一些基于卷积神经网络的GAN实现,但是相对来说,DC-GAN的最终表现与同期的模型相比更优秀。模型的一些改进细节 1)将Pooling层替换成带有stride的卷积层 2)使用Batch Normalization 3)放弃使用全连接层...原创 2018-10-26 10:14:24 · 1086 阅读 · 0 评论 -
生成模型--CycleGAN
CycleGANCycleGAN和pix2pix的比较 pix2pix也可以做图像变换,它和CycleGAN的区别在于,pix2pix模型必须要求成对数据(paired data),而CycleGAN利用非成对数据也能进行训练(unpaired data)。 比如,我们希望训练一个将白天的照片转换为夜晚的模型。如果使用pix2pix模型,那么我们必须在搜集大量地点在白天和夜晚的两张对应图...原创 2018-10-26 10:15:28 · 439 阅读 · 0 评论 -
生成模型--TP-GAN
TP-GAN 中科院自动化所(CASIA),中科院大学和南昌大学的一项合作研究,提出了双路径 GAN(TP-GAN),通过单一侧面照片合成正面人脸图像,取得了当前较好的结果。 这里采用双通道网络,Two Pathway Generator,一个是 local pathway,另一个是 global pathway。 1)local pathway 用于解决人脸的细节问题,输入侧脸的四个...原创 2018-10-26 10:17:00 · 1985 阅读 · 5 评论 -
生成模型--PTGAN
PTGAN 针对于ReID的生成对抗网络PTGAN,可以实现不同ReID数据集的行人图片迁移,在保证行人本体前景不变的情况下,将背景转换成期望的数据集style。论文关键点 1)论文提出LID损失,用PSPNet提取的前景,这个前景就是一个mask; 2)将另外一个数据集通过 PTGAN 迁移到 MSMT 上都能增加 MSMT17 数据集上的performance。 3)cycl...原创 2018-10-26 10:18:22 · 662 阅读 · 0 评论 -
生成模型--SPGAN
SPGAN 中了CVPR 2018,属于ReID领域。 全名是“Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification”。论文关键点 SPGAN = CycleGAN + L(ide)+L(con) simi...原创 2018-10-26 10:21:24 · 2399 阅读 · 0 评论 -
生成模型--StarGAN
StarGAN 生成式对抗性网络(GANs)的近期进步已经在面部表情生成任务中展现出了令人惊喜的结果。这项任务上最成功的架构是 StarGAN,它把 GANs 的图像生成过程限定在了一个具体的范围中,也就是一组不同的人做出同一个表情的照片。这种方法虽然很有效,但是它只能生成若干种离散的表情,具体是哪一种由训练数据的内容决定。 Stargan这种,对于不同数据集上的不同领域的迁移学习,有没有...原创 2018-10-26 10:22:34 · 407 阅读 · 0 评论 -
生成模型--GAN的损失函数改进
GAN的损失函数改进 除了像cycleGAN、PTGAN等这类在网络理解上的改进,对于GAN而言,还有一类改进是直接针对于损失函数的。 WGAN、LSGAN、WGAN-GP都是在 GAN 的损失函数上采取改进,将衡量真实和生成样本的分布的 JS 距离换为更加优越的衡量标准。...原创 2018-10-26 10:26:02 · 4194 阅读 · 0 评论 -
生成模型--损失函数改进之WGAN系列
WGAN系列 1)WGAN 就是在 GAN 的基础上改进的比较成功的一种。WGAN 利用 Wasserstein 距离代替 JS 距离,从而避免了一定的梯度消失问题,这也为很多 GAN 模型的扩展提供了指导。 2)WGAN-GP 是在 WGAN 的基础上改进的,WGAN 在保证 Lipschitz 限制条件时,作者是采用将限制判别器神经网络的所有参数(这里指权重 w)不超过某个范围 [-c...原创 2018-10-26 10:32:58 · 9900 阅读 · 1 评论 -
生成模型--GAN用于消除运动模糊(Motion Blur)
消除运动模糊与GAN 终极议题:在没有提供任何关于核(kernel)或相机的运动信息的情况下,怎样去除单张照片中的运动模糊(Motion Blur)呢? 这不禁让人联想起生成对抗网络(GAN),因为它能够保存高纹理细节,创建的图案又接近真实图像,所以是图像超分辨率和图像修复中的主力军。 可以将其用于消除运动模糊。模糊处理可以看作是图像转化中的一个特例,研究人员提出基于条件生成式对抗网络...原创 2018-10-29 10:44:49 · 2075 阅读 · 0 评论 -
生成模型--GAN用于图像漫画特效算法
图像漫画特效算法 这种风格迁移的算法都快要被GAN统治了 。主要思路 可以分两部分: 1)简化图像,即去除图像细节,仅保留图像主要信息; 在简化图像步骤,除了meanshift算法外,大家肯定会想到很多边缘保持的图像平滑算法,比如经典的双边滤波、导向滤波等等。更多内容可以查阅这里,该文作者提供了多种边缘保持平滑算法(主要包括双边滤波,域变换,WLS、导向滤波、L0范数平滑等 )效...原创 2018-10-29 10:43:20 · 3704 阅读 · 0 评论 -
生成模型--GAN用于图像风格迁移(Neural Style)
图像风格迁移(Neural Style) 关于纹理生成与风格迁移领域,在 2015 年前所有的关于图像纹理的论文都是手动建模的。 其中,纹理可以用图像局部特征的统计模型来描述。 而图像风格迁移比纹理生成还惨。因为纹理生成至少不管生成什么样子的纹理都叫纹理生成,然而图像风格迁移这个领域当时连个合适的名字都没有,因为每个风格的算法都是各管各的,互相之间并没有太多的共同之处。比如油画风格迁移...原创 2018-10-29 10:41:26 · 11187 阅读 · 1 评论 -
生成模型--自编码器(Autoencoder,AE)
自编码器(Autoencoder,AE) 基本意思就是一个隐藏层的神经网络,输入输出都是x,并且输入维度一定要比输出维度大,属于无监督学习。一种利用反向传播算法使得输出值等于输入值的神经网络,它先将输入压缩成潜在空间表征,然后通过这种表征来重构输出。 参考资料: https://blog.csdn.net/hjimce/article/details/49106869 https:...原创 2018-10-25 13:30:54 · 17864 阅读 · 0 评论 -
生成模型--栈式自编码器(stacked autoencoder, SA)
栈式自编码器(stacked autoencoder, SA) 即多个自编码器堆叠而成,是深度神经网络中的一种。 例如:多个去噪自编码器的堆叠就变成了stacked denoised autoencoder (SDA)。优点和缺点 stacked denoised autoencoder (SDA)深度学习结构,和DBN类似 使用 无监督的网络“堆叠”起来的,他有分层预训练来寻找更好...原创 2018-10-25 13:34:57 · 5923 阅读 · 1 评论 -
生成模型--香草自编码器
香草自编码器(?) 在这种自编码器的最简单结构中,只有三个网络层,即只有一个隐藏层的神经网络。它的输入和输出是相同的,可通过使用Adam优化器和均方误差损失函数,来学习如何重构输入。 都是全连接层。 在这里,如果隐含层维数(64)小于输入维数(784),则称这个编码器是有损的。通过这个约束,来迫使神经网络来学习数据的压缩表征。...原创 2018-10-25 13:36:50 · 842 阅读 · 0 评论 -
生成模型--多层自编码器
多层自编码器 就是多个隐含层。任意一个隐含层都可以作为特征表征,但是为了使网络对称,一般使用了最中间的网络层。都是全连接层。转载 2018-10-25 13:37:53 · 1230 阅读 · 0 评论 -
生成模型--卷积自编码器
卷积自编码器 将多层自编码器的隐含层全部换做卷积层。原创 2018-10-25 13:38:39 · 1441 阅读 · 0 评论 -
生成模型--正则自编码器
正则自编码器 除了施加一个比输入维度小的隐含层,一些其他方法也可用来约束自编码器重构,如正则自编码器。 正则自编码器使用的损失函数可以鼓励模型学习其他特性(除了将输入复制到输出),而不必限制使用浅层的编码器和解码器以及小的编码维数来限制模型的容量。 正则自编码器不需要使用浅层的编码器和解码器以及小的编码维数来限制模型容量,而是使用损失函数来鼓励模型学习其他特性(除了将输入复制到输出)。...原创 2018-10-25 13:40:43 · 1938 阅读 · 2 评论 -
生成模型--稀疏自编码器(sparse autoencoder,SAE)
稀疏自编码器(sparse autoencoder,SAE) 在自动编码的基础上加上稀疏性限制,就可得到稀疏自动编码器(Sparse AutoEncoder)。 用来约束自动编码器重构的方法,是对其损失函数施加约束。比如,可对损失函数添加一个正则化约束,这样能使自编码器学习到数据的稀疏表征。 一般用来学习特征,以便用于像分类这样的任务。稀疏正则化的自编码器必须反映训练数据集的独特统计特...原创 2018-10-25 13:42:52 · 5634 阅读 · 0 评论 -
生成模型--降噪自编码器(denoising autoencoder,DAE)
降噪自编码器(denoising autoencoder,DAE) 这里不是通过对损失函数施加惩罚项,而是通过改变损失函数的重构误差项来学习一些有用信息。 向输入的训练数据加入噪声,并使自编码器学会去除这种噪声来获得没有被噪声污染过的真实输入。因此,这就迫使编码器学习提取最重要的特征并学习输入数据中更加鲁棒的表征,这也是它的泛化能力比一般编码器强的原因。目的是使特征很鲁棒。 denoi...原创 2018-10-25 13:46:53 · 15023 阅读 · 0 评论 -
生成模型--收缩自编码器(contractive autoencoder,CAE)
收缩自编码器(contractive autoencoder,CAE) 收缩是源于CAE弯曲空间的方式,性质是只在局部收缩,目标是学习数据的流形结构具体实现 收缩自编码模型的训练目标函数是重构误差和收缩罚项(contraction penalty)(即正则项)的总和,通过最小化该目标函数使已学习到的表示C(x)尽量对输入x保持不变。 它的惩罚项Ω(h) 是平方Frobenius范数(...原创 2018-10-25 13:50:06 · 4151 阅读 · 0 评论 -
生成模型--变分自编码器(Variational Autoencode,VAE)
变分自编码器(Variational Autoencode,VAE) Generative Models,Variational Autoencoder(VAE) 和 GAN 可以说是两座大山头。 VAE包括两部分:编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征,低级表征叫作本征向量(latent vector)。解码器吸收数据的低级表征,然后输出同样数据的高级表征。 ...原创 2018-10-26 09:39:33 · 5009 阅读 · 0 评论 -
生成模型--GAN中的L(ide)
L(ide), target domain identity constraint 是一种提升generator效果通用方法。 这个loss的含义是:对于target to source生成器F,如果输入是source domain的图片x(而不是target domain的y),那么也要生成出于x相似的图片。加了这个限制之后,图片颜色就相对稳定了些,不至于很夸张。"...原创 2018-10-29 10:34:25 · 282 阅读 · 0 评论 -
生成模型--感知损失(Perceptual Loss)
感知损失(Perceptual Loss) 用于GAN网络生成。Perceptual Loss的出现证明了一个训练好的CNN网络的feature map可以很好的作为图像生成中的损失函数的辅助工具。 GAN可以利用监督学习来强化生成网络的效果。其效果的原因虽然还不具可解释性,但是可以理解为可以以一种不直接的方式使生成网络学习到规律。应用中的perceptual loss 图像风格转换...原创 2018-10-29 10:36:18 · 11677 阅读 · 1 评论 -
生成模型--LSGAN
LSGAN 用最小二乘损失代替原始的GAN损失。原创 2018-10-29 10:33:06 · 323 阅读 · 0 评论