GAN
用GAN得有GPU
发帖主要是为了整理自己的心得,仅供参考,有可能内容有误,欢迎指正错误,互相学习!
展开
-
GAN网络概述及LOSS函数详解
Generative Adversarial Nets上周周报已经写了这篇论文,本周相对GAN网络的LOSS进行进一步的学习和研究。GAN网络:条件:G依照真实图像生成大量的类似图像,D是辨别输入的图像是真实图像还是G生成的虚假图像。原理:G和D是互相促进的。G的目的是产生的图像让D感到模糊不知道该分成realistic(看起来像是现实的)还是fake(看起来是假的),D的目的是将rea...原创 2019-10-31 20:02:04 · 24793 阅读 · 8 评论 -
2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi
AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification简述:当目标域的身份未知时,现有的方法试图通过转移图像样式或跨域对齐特征分布来解决,而目标域中丰富的未标记样本不能充分地实现。本文提出了一种新的增强描述本地聚类(AD-Cluster)技术,该技术可以估计和增强目标域内的人聚类,并通过附加聚类增强re-ID模型的识别能力。AD-Cluster交替训练一个图像生成器和一个原创 2020-10-15 16:21:27 · 497 阅读 · 0 评论 -
2020 Arxiv之跨模态Reid:RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model
RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model简述:Reid的关键挑战是不同模式下特征的跨模态差异。为了解决这一挑战,我们提出了一种基于不同域的师生模型(TS-GAN)。模型:1.首先,GAN部分,仅采用了RGB生成IR的分支,但IR生成RGB用于辅助训练后期没有用到:(使用L1范数,因为它能比L2范数在图像边缘获得更好的生成性能)2.Backbone(红色部分)将Res50分为前3层(图中FEs)原创 2020-09-20 16:58:24 · 1208 阅读 · 0 评论 -
2020 CVPR之GAN:MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks
MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks论文:https://arxiv.org/pdf/1903.06048.pdf1.当前存在的问题GAN在图像合成任务中,目前的问题在于他们不能很好的适应不同数据集,部分原因是由于训练过程的不稳定性和对超参数分析仪的敏感性(模型崩塌),不稳定的原因是,真分布与伪分布没有足够的重叠部分时,从鉴别器到生成器的梯度变得无信息。本文提出了多尺度梯度广义对抗网络(MSG-GAN),原创 2020-07-16 11:26:31 · 1527 阅读 · 0 评论 -
2019 IJCNN之GAN(image transfer(face)):Attention-Guided Generative Adversarial Networks for Unsupervis
Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation当前的问题及概述:通过GAN网络针对image-to-image translation任务目前只能转换low-level特征,而不能转换high-level特征,主要原因是生成器无法检测出图像中最能体现语义的部分,从而导致生成的图像质量较差。针对这一局限性,本文提出了一种基于注意力引导的生成对抗网络(AGGAN),该网原创 2020-06-27 17:01:37 · 1385 阅读 · 1 评论 -
2020 IVC之GAN(image transfer):GANILLA: Generative Adversarial Networks for Image to Illustration Tran
GANILLA: Generative Adversarial Networks for Image to Illustration Translation期刊:Image and Vision Computing(Elsevier,3区)开源:https://github.com/giddyyupp/ganilla当前的问题及概述:1.尽管目前最先进的图像-图像转换模型可以成功地转换风格或内容,但它们不能同时转换两者。本文提出了一个新的生成器网络来解决这个问题,并表明产生的网络在风格和内容之间实现原创 2020-06-16 17:22:32 · 1364 阅读 · 2 评论 -
2017 NIPS之GAN(image transfer):Unsupervised Image-to-Image Translation Networks
Unsupervised Image-to-Image Translation Networks开源:https://github.com/mingyuliutw/unit.当前的问题及概述:无监督图像-图像转换的目的是利用图像在单个区域的边缘分布来学习图像在不同区域的联合分布。由于存在无穷多的联合分布集合,可以得到给定的边际分布,如果没有额外的假设,就不能从边际分布中推断出联合分布。本文提出了一个共享潜在空间的假设,并提出了一种基于coupled GANs的无监督图像-图像转换框架。模型及los原创 2020-06-11 17:22:17 · 850 阅读 · 0 评论 -
2018 LNCS之GAN(image transfer):Multimodal Unsupervised Image-to-Image Translation
Multimodal Unsupervised Image-to-Image Translation开源:https://github.com/nvlabs/MUNIT当前的问题及概述:无监督图像到图像的转换目前CV中一个重要的问题,在没有pair的前提下,学习源域对应图像在目标域内的条件分布。现有的方法为确定性的一对一映射,因此,它们无法从给定的源域图像生成不同的输出。为了解决这一限制,本文提出了一个多模态无监督图像到图像转换(MUNIT)框架。图中(a)每个域Xi中的图像被编码到一个共享的内原创 2020-06-09 18:50:29 · 414 阅读 · 0 评论 -
2019 CVPR(oral)之ReID:Joint Discriminative and Generative Learning for Person Re-identification
Joint Discriminative and Generative Learning for Person Re-identification当前的问题及概述:目前,ReID任务通过GAN网络训练越来越热门,然而,现有方法中的G途径与D再识别学习阶段相对独立。因此,reid模型通常直接对生成的数据进行训练。本文提出了一个联合学习框架,将ReID任务和端到端的图像生成结合起来。提出的模型包括一个生成模块,它将每个人分别编码为一个外观码和一个结构码,以及一个判别模块,它与生成模块共享外观编码器。生成模原创 2020-05-09 12:43:09 · 1042 阅读 · 0 评论 -
2020 CVPR之image matting:Background Matting:The World is Your Green Screen
Background Matting:The World is Your Green Screen当前的问题及概述:现有的方法都需要背景和trimap信息进行estimate matte在本文中,我们需要原图及背景的附加照片,虽然准备阶段复杂,但节省了大量创造trimap的时间以及提升了最终的效果。具体见图1:模型及loss:输入为原图I和背景图B’,通过生成的soft segmen...原创 2020-04-23 21:41:53 · 3851 阅读 · 1 评论 -
2020 TIP之image matting:BACKGROUND MATTING
BACKGROUND MATTING当前的问题及概述:目前的alpha matting方法主要依赖于trimap来指导estimate alpha。而本文研究了除了trimap信息外的背景信息和alpha信息进行estimate alpha。模型及loss:2.1 Generator G本文提出的AlphaGan-BG Network是建立在第一个提出的GAN来估计alpha matt...原创 2020-04-16 17:03:15 · 963 阅读 · 0 评论 -
2018 BMVC之GAN+seg:Adversarial Learning for Semi-Supervised Semantic Segmentation
Adversarial Learning for Semi-Supervised Semantic Segmentation当前的问题及概述:现有的鉴别器大都在图像层次上对输入图像进行真伪分类训练,而我们设计了一种全卷积的鉴别器,在考虑空间分辨率的情况下,从ground-truth中对预测概率图进行区分。此外,全卷积鉴别器通过在未标记图像的预测结果中发现可能区域,实现半监督学习,从而提供额外的...原创 2020-03-30 23:06:15 · 2365 阅读 · 4 评论 -
2017 NIPS之GAN+seg:Generative Semantic Manipulation with Contrasting GAN
Generative Semantic Manipulation with Contrasting GAN当前的问题及概述:如今的GAN网络在图片风格迁移方面有了很大的突破,但是现有的模型只能传递low-level信息(如颜色或纹理变化),而不能编辑high-level语义信息(如几何结构或内容)。另一方面,虽然一些研究可以合成具有类标签或说明的引人注目的真实世界图像,但它们不能限定任意的形状...原创 2020-03-29 15:01:50 · 643 阅读 · 0 评论 -
2020 CVPR之视频动作识别:Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
Multi-Modal Domain Adaptation for Fine-Grained Action Recognition当前的问题及概述:无监督域适应(UDA)方法经常用于源域和目标域之间的对抗训练。但在一个环境中培训一个模型,然后部署到另一个环境中,由于不可避免的域转换,会导致性能下降。而且这些方法并没有探索视频在每个域中的多模态特性。本文提出了多模态动作识别的UDA方法。改进的...原创 2020-03-27 19:26:19 · 4675 阅读 · 0 评论 -
2019 ICIP之多光谱行人检测:UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING
UNPAIRED CROSS-SPECTRAL PEDESTRIAN DETECTION VIA ADVERSARIAL FEATURE LEARNING当前的问题及概述:本文提出的框架采用行人检测网络和区域生成的对抗网络,能够生成互补的跨光谱行人特征。本文多光谱行人检测的说明:模型及loss:本文提出的跨模态行人检测框架。使用两个交叉光谱嵌入网络将每个光谱图像编码到公共空间中。为了对...原创 2020-03-22 11:06:20 · 882 阅读 · 3 评论 -
2018 AAAI之人脸识别:Adversarial Discriminative Heterogeneous Face Recognition
Adversarial Discriminative Heterogeneous Face Recognition当前的问题及概述:在NIR-VIS图像转换的一个主要挑战是,图像对在大多数数据库中没有准确对齐。即使我们可以根据面部的位置标记对图像进行对齐,同一对象的姿势和面部表情仍然有很大的差异。 本文提出了一种对抗式特征学习框架,分为跨模态面部生成模块和对抗判别特征学习模块。这两个部分分别...原创 2020-03-20 23:04:18 · 1037 阅读 · 1 评论 -
2020 ICASSP之人脸识别:Facial Feature Embedded CycleGAN for VIS-NIR Translation
Facial Feature Embedded CycleGAN for VIS-NIR Translation当前的问题及概述:由于两个模态的光谱成分的差异以及配对训练数据的不足,可见光-红外跨模态人脸识别仍然是一个具有挑战性的任务。本文提出了一种将可见光人脸图像转换成伪近红外图像的方法,该方法通过嵌入CycleGAN的一种新的人脸特征来实现。模型及loss:嵌入CycleGAN的人...原创 2020-03-11 18:13:10 · 2759 阅读 · 9 评论 -
CVPR 2020之ReID:Cross-modality Person re-identification with Shared-Specific Feature Transfer
Cross-modality Person re-identification with Shared-Specific Feature Transfer当前的问题及概述:现有的研究主要集中在通过将不同的模态嵌入到同一个特征空间中来学习共同的表达。然而,只学习共同特征意味着巨大的信息损失,降低了特征的差异性。在本文中,提出了一种新的跨模态共享特征转移算法(cm-SSFT)来解决上述问题,以探...原创 2020-03-08 21:19:40 · 5816 阅读 · 2 评论 -
跨模态ReID论文总结3:GAN网络论文(长期更新)
通过GAN网络的思路也是跨模态ReID 的主流思路之一,具体分为通过对抗网路去区分不同模态的特征和通过对抗网络生成图像两种,前者仅有一篇论文,是基于feature-level的对抗,效果一般,后者既有feature-level也有pixel-level的对抗,生成具体的可视化图像,借鉴风格迁移的cycle GAN或者star GAN的方法,尽可能的消除模态差异,使得任务尽可能转变为单模态任务去处理...原创 2020-03-06 20:02:37 · 2841 阅读 · 2 评论 -
2019 CVPR之ReID:Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Id
Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification当前的问题及概述:为了减少模内和模间的差异,我们提出了一种分层模间解调(Hi-CMD)方法,本文提出的方法有效的将ID-discriminative特征和ID- excluded特征分离出来,进而进行分...原创 2020-03-03 18:17:11 · 2733 阅读 · 3 评论 -
2020 AAAI之ReID:Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification当前的问题及概述:由于每一对RGB和IR图像之间缺乏对应标签,大多数方法都试图通过减少整个RGB和IR set之间的差异来缓解set-level对齐的变化。但是,这种set-level的对齐可能会导致某些情况下的不对齐,从而限制了RG...原创 2020-03-02 17:42:51 · 1740 阅读 · 0 评论 -
19 CVPR之ReID:Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification
Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification目前的问题:由于RGB-IV的ReID任务中,除了视点变化、姿态变化和变形所造成的人的外貌差异外,还有由于光谱相机成像过程的不同而产生的额外模态差异,以前的方法尝试使用特征级约束同时减少外观和模态差异。然而,仅使用特征级约...原创 2020-02-04 13:01:09 · 1135 阅读 · 0 评论 -
2018 IJCAI之ReID:Cross-Modality Person Re-Identification with Generative Adversarial Training
Cross-Modality Person Re-Identification with Generative Adversarial Training目前的问题:当前,面对这种跨模态问题,主要有两个困难:1.RGB和红外模式之间缺乏识别同一人的区别信息2.很难为这种大规模的交叉模式检索学习稳健的度量为了解决识别信息不足的问题,本文设计了一种基于前沿生成对抗训练的鉴别器来学习不同模式下的...原创 2020-01-30 17:39:25 · 935 阅读 · 0 评论 -
StarGAN(2018): Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation简述:现有的方法在两个以上的领域中具有有限的可扩展性和鲁棒性,因为不同的模型应该为每一对图像域独立地建立。为了解决这一限制,本文提出了StarGAN,可以仅使用一个模型在多个域中执行图像到图像的转换。starga...原创 2019-11-21 19:06:55 · 1210 阅读 · 0 评论 -
WGAN(2017):Wasserstein GAN
Wasserstein GAN简述:本文关心的问题为无监督学习问题。介绍WGAN,可替换传统GAN的训练。新模型中,提高了学习的稳定性,克服了模式被破坏等问题,并提供方便调试和超参数搜索的学习曲线。进一步,显示对应的优化问题合理,并为分布间其它距离的深入关联提供理论工作。在非监督学习中学习概率分布的意义在哪儿?论文使用极大似然估计的理论来解释,使用一个分布来近似真实分布,并通过最小化连个分布...原创 2019-11-20 12:54:59 · 536 阅读 · 0 评论 -
2019 ICCV best paper:sinGAN: Learning a Generative Model from a Single Natural Image解读
论文地址:https://arxiv.org/abs/1905.01164代码地址:https://github.com/tamarott/SinGAN论文翻译(个人认为比较全面):http://www.dataguru.cn/article-15165-1.html原创 2019-11-17 20:32:01 · 1150 阅读 · 1 评论 -
StackGAN(2017): Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
简述:从文本描述中合成高质量的图像是计算机视觉中的一个具有挑战性的问题,具有许多实际应用。现有的文本-图像方法生成的样本可以大致反映给定描述的含义,但无法包含必要的细节和生动的对象部分。在这篇论文中,我们提出堆叠式生成性对抗网路(StackGAN),以文字为条件,产生256×256的真实感影像。通过草图细化过程(sketch-refinement process),我们将难题分解为更易于人理解的...原创 2019-11-12 21:52:55 · 918 阅读 · 0 评论 -
PGGAN(2018):Progressive Growing of GANs for Improved Quality, Stability, and Variation
PGGAN:Progressive Growing of GANs for Improved Quality, Stability, and Variation简述:本文为改善品质、稳定性和变异而逐步改进的GAN。做了以下贡献:1是提出了一种新的生成对抗网络的训练方法(PGGAN)2描述了一些对于阻止生成器和鉴别器之间的不健康竞争非常重要的实现细节3我们提出了一种新的度量方法来评价GAN...原创 2019-11-08 21:04:05 · 2510 阅读 · 0 评论 -
CycleGAN(2017):Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks简述:本文主要的工作是,给定任意两个无序的图像集合X和Y,我们的算法学习自动“转换”图像从一个到另一个,反之亦然。即风格迁移转换。如下图中莫奈画与照片的转换,斑马与马的转换,夏天与冬天的转换等。下面一行是由照片转换为不同画家画风的图像。...原创 2019-11-07 10:48:49 · 610 阅读 · 0 评论 -
pix2pix(2017):Image-to-Image Translation with Conditional Adversarial Networks
Image-to-Image Translation with Conditional Adversarial Networks简述:图像处理、图形学和视觉学中的许多问题涉及到将输入图像转换成相应的输出图像。这些问题通常用特定于应用程序的算法来处理,即使设置总是相同的:将像素映射到像素(pix to pix)。本文利用GAN网络,不仅学习了输入图像到输出图像的映射,而且还学习了训练这种映射的损...原创 2019-11-06 13:09:08 · 502 阅读 · 0 评论 -
Improved Techniques for Training GANs(2016)
Improved Techniques for Training GANs简述:目前,当GAN在寻求纳什均衡时,这些算法可能无法收敛。为了找到能使GAN达到纳什均衡的代价函数,这个函数的条件是非凸的,参数是连续的,参数空间是非常高维的。本文旨在激励GANs的收敛。这些技术的动机是对非收敛问题的启发式理解。改进了半监督学习性能,改进了样本生成。本文将重点介绍GANs的两个应用:半监督学习和生成人...原创 2019-11-04 16:47:07 · 715 阅读 · 0 评论 -
C-GAN(2014):Conditional Generative Adversarial Nets
Conditional Generative Adversarial Nets简述:目前有两个问题,第一个是尽管监督神经网络(尤其是卷积网络)最近取得了许多成功,但要扩展此类模型以适应数量极其庞大的预测输出类别仍然具有挑战性。第二个问题是,迄今为止的大部分工作都集中在学习从输入到输出的一对一映射。然而,许多有趣的问题更自然地被认为是概率一对多的映射。解决第一个问题的一种方法是利用来自其他模式...原创 2019-11-01 19:52:44 · 1080 阅读 · 0 评论 -
GAN网络开山论文(2014):Generative Adversarial Nets
Generative Adversarial Nets简述:目前,较为成功的还是判别模型。在生成模型方面由于概率计算等困难,未获得较大的成功。本文提出的GAN网络不需要马尔科夫链和推断,只需要梯度下降。在GAN 网络中,部分为生成网络 (Generative Network),此部分负责生成尽可能地以假乱真的样本,这部分被成为生成器 (Generator);另一部分为判别网络 (Discrim...原创 2019-10-15 21:16:16 · 1751 阅读 · 0 评论 -
DC-GAN:Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks简述:目前CNN已经在有监督学习中取得成功,本文提出的DCGANs希望能够帮助弥补CNNs在监督学习的成功和非监督学习方面之间的差距。问题or相关工作:本文使用训练有素的鉴别器进行图像分类任务,显示出与其他无...原创 2019-10-31 16:34:39 · 708 阅读 · 0 评论