【2020】Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation论文阅读笔记

最新推荐文章于 2024-08-23 09:27:26 发布
最新推荐文章于 2024-08-23 09:27:26 发布
阅读量573 收藏 2
点赞数 1
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26136211/article/details/116424826
版权
本文介绍了《Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation》论文，该研究提出了一种轻量级网络结构，用于在移动设备上进行文本引导的图像编辑。通过word-level discriminator和特定的损失函数，模型在降低复杂性的同时保持了图像质量。创新点包括无训练参数的discriminator和结合Inception-v3与VGG-16的Image Encoder。
摘要由CSDN通过智能技术生成

Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation论文阅读

这是一篇在Text-Guided Image Manipulation领域关于轻量模型的论文，github代码地址（还未公开）：https://github.com/mrlibw/Lightweight-Manipulation

创新点：

提出了轻量级网络结构，可以在手机等移动设备上运行，并且效果相比其他模型来说也很不错。

模型结构

作者首先尝试了对ManiGAN进行优化，通过减少层数和参数来得到一个轻量模型，但是生成图片的质量却大大下降。经过实验，作者提出了下图这种网络结构。
在这里插入图片描述

我们先从论文的主要创新点——word-level discriminator开始介绍。

首先，我们定义最基本的数学符号：输入图片I，文本S，修改后图片I’。

Word Labelling

为了完整利用文本S里的word信息，作者使用了一个part-of-speech tagging，将S里的每个word按照名词、形容词、动词等进行标注。为了简化模型，作者将名词和形容词（这两种词性包含最多意思）记为1，其余

最低0.47元/天 解锁文章
芋圆526
关注
专栏目录
ManiGAN: Text-Guided Image Manipulation(论文翻译)
asfafafqwfafs的博客
04-04 1347
这里写自定义目摘要： 我们的论文的目的是在语义上编辑图像的一部分，以匹配描述所需的给定文本（例如，纹理、颜色、背景）同时保留与文本无关的其它内容。为此，我们提出了一种新的生成对抗网络（ManiGAN），它包含两个关键的部分：文本图像仿射组合模块（ACM）和细节校正模块（DCM）。ACM选择与给定文本相关的图像区域，然后将具有相应语义单词的区域与有效操作相关联。同时，它也编码原始图像特征，以帮助文本无关内容的重建。DCM纠正了不匹配的属性，并重建了合成图像的缺失内容。最后，我们提出了一个新的度量来评估图像重构
relgan_relational_generative_adversarial_networks_for_text_generation.pdf
04-13
RELGAN: RELATIONAL GENERATIVE ADVERSARIAL NETWORKS FOR TEXT GENERATION relGan-textGan的论文，会议论文，仅供学习使用。
ManiGAN: Text-Guided Image Manipulation
weixin_45193950的博客
03-30 554
github地址
轻量级生成对抗网络（Lightweight GAN）：低数据量下快速高效的图像合成利器
最新发布
gitblog_01108的博客
08-23 367
轻量级生成对抗网络（Lightweight GAN）：低数据量下快速高效的图像合成利器 lightweight-ganImplementation of 'lightweight' GAN, proposed in ICLR 2021, in Pytorch. High resolution image generations that can be trained within a day o...
ManiGAN Text-Guided Image Manipulation
qq_44381060的博客
04-09 3560
ManiGAN: Text-Guided Image Manipulation 作者：Bowen Li、Xiaojuan Qi、Thomas Lukasiewicz、Philip H. S. Torr 时间：2020 期刊：CVPR 提出该网络的目标任务： 论文的目标是在语义上编辑图像的部分，以匹配描述所需属性（比如，纹理、颜色和背景）的给定文本，同时保留与文本无关的其他内容。目前来说，现最先进的文本引导图像处理方法只能产生低质量的图像（下图第一行），效果不理想（下图第二行），甚至不能有效地处理复杂场景
Text-Guided-Image-Manipulation-using-GANs
04-06
使用GAN进行文本引导的图像处理 数据 TextCaps下载链接： ://textvqa.org/textcaps/dataset VizWiz数据集链接： ://vizwiz.org/tasks-and-datasets/image-captioning/ 下载textcaps数据集并将图像提取到data / textcaps / 下载vizwiz数据集并将图像提取到data / vizwiz / 训练 训练前DAMSM模型 TextCaps：python3 pretrain_DAMSM.py --cfg cfg / DAMSM / textcaps.yml --gpu 0 VizWiz：python3 pretrain_DAMSM.py --cfg cfg / DAMSM / vizwiz --gpu 0 主模块 TextCaps：python3 main.py --cfg cfg
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 5985
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8779
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
lightweight-gan:在Pytorch的ICLR 2021中提出的“轻量级” GAN的实现。 可以在一两天内进行训练的高分辨率图像生成
03-11
训练12小时后512x512鲜花，1 gpu 训练12小时后256x256朵鲜花，1 gpu 比萨 ``轻巧''GAN 在Pytorch的ICLR 2021中提出的实现。 本文的主要贡献是发生器中的跳层激励，以及鉴别器中的自动编码自监督学习。 引用单行摘要“在经过数小时培训的情况下，可以在1024 g分辨率的数百张图像上融合在单个gpu上”。 安装 $ pip install lightweight-gan 使用 一个命令 $ lightweight_gan --data ./path/to/images --image-size 512 每隔1000次迭代，模型将保存到./models/{name} ，模型中的样本将保存到./results/{name} 。 name将是default ，默认情况下。 训练设定 深度学习从业人员的自我解释能力很强 $ lightweight_ga
Python库 | lightweight-gan-0.14.1.tar.gz
04-10
资源分类：Python库 所属语言：Python 资源全名：lightweight-gan-0.14.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Text Guided Person Image Synthesis
Forlogenの解忧杂货铺
07-06 1109
论文地址：https://arxiv.org/abs/1904.05118 GitHub：未找到 收录于：CVPR 2019 本文完成的工作主要是根据具体文字描述来操纵行人图像，改变行人的外观。作者所提出的方法主要分为以下两个阶段： stage 1：根据文字描述生成行人合理的姿态 stage 2：结合前一阶段生成的目标姿态，根据文本合成一个逼真的、外型转换的人的图像。 作者认为所提出的方法可...
DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis 论文解读
weixin_43551972的博客
11-09 4471
这是一篇CVPR 2019的一篇文章，思想简单，但是实验结果是真的简单，服！服！服！！！（但是我为什么想不到呢？我太菜）。文章中介绍了很多模块，也介绍了文章idea的来源，为此我还看了相关的Memory Networks及各种变形（对理解本篇DM-GAN其实用处不大，但是这些论文挺好的，推荐一看。） 论文: https://arxiv.org/abs/1904.01310?context=cs. ...
探索轻量级GAN：一个高效且易于使用的生成对抗网络框架
gitblog_00013的博客
04-25 566
探索轻量级GAN：一个高效且易于使用的生成对抗网络框架 lightweight-ganImplementation of 'lightweight' GAN, proposed in ICLR 2021, in Pytorch. High resolution image generations that can be trained within a day or two项目地址:https:...
AnimeGAN a novel lightweight GAN for photo animation
Tsuinosora
08-21 2487
首发于：jwxie.cn AnimeGAN a novel lightweight GAN for photo animation ???? PDF Link ???? Github Code 没研究过GAN，Github trends上瞅着个这个好玩的，跑个demo顺便瞅瞅论文，看有啥有意思的东西。 p.s. Date 20.07.22 GitHub好像近期有更新了，有AnimeGAN+了… Section 1 简介 上来看到一句，咋这么像我们老板说的… 能说出这话说明这工作在当前来看的确没啥用了??
一天一GAN
huatianxue的博客
06-17 144
在训练过程中，需要将判别器设置为“冻结”状态，这样在训练GAN的时候，它的权重才不会更新。
Lightweight Adversarial Network for Salient Object Detection
qq_36321330的博客
05-21 269
Abstract 作者提出了一种用于显着目标检测（salient object detection）的轻量级对抗网络，该网络通过进行对抗性训练来实现更高阶的空间一致性，并分别通过轻量级bottleneck block降低了计算成本，从而同时提高了准确性和效率。 1.Introduction 2.Related Work 3.Lightweight Adversarial Network 4.Experimental Results ...
residual feature dis- tillation network for lightweight image super-resoluti
08-14
残差特征提取网络是一种轻量级图像超分辨率技术，它通过提取图像中的残差特征来实现图像的高分辨率重建。 该网络的关键思想是将低分辨率图像与其对应的高分辨率图像之间的差异作为特征来学习和恢复图像的细节信息。在训练过程中，网络首先将低分辨率图像输入到深度卷积神经网络中，提取出一系列特征图。然后，将这些特征图与预先生成的高分辨率图像之间的差异进行残差学习，得到残差特征图。最后，将低分辨率图像与残差特征图相加，得到最终的高分辨率重建图像。 相对于传统的超分辨率方法，该网络具有以下优点。首先，它采用了轻量级的网络结构，具有较低的模型复杂度和较快的推理速度，适用于移动设备等资源有限的场景。其次，通过残差学习，网络能够更好地恢复图像的细节信息，提升图像质量。此外，该网络在训练过程中还引入了特征蒸馏技术，能够更好地优化网络参数，并提高网络的鲁棒性和泛化能力。 总而言之，残差特征提取网络是一种轻量级图像超分辨率技术，通过提取低分辨率图像与高分辨率图像之间的差异来学习和恢复图像的细节信息。它具有模型简单、高效快速和图像质量提升等优点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值