技术干货 | 基于MindSpore深度解读SinGAN网络！

于 2022-07-11 15:39:56 发布
阅读量574 收藏 2
点赞数
分类专栏： 技术博客 文章标签： 深度学习 神经网络 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/125722771
版权

写这个系列文章的目的在于解读SinGAN网络的同时，介绍MindSpore深度学习框架的特点及其使用技巧。本系列文章将分为四篇文章介绍，包含论文解读、源码解读、动手复现。希望能在大家今后的工作学习当中更好的理解SinGAN网络。

SinGAN网络之论文解读

 简介 

设计了一个基于单张图片的非条件图像生成模型，并应用在图像随机生成，图像融合、手绘画转自然图像、图像编辑以及图像超分重建等领域。

文献下载：https://arxiv.org/pdf/1905.01164.pdf

网络特点

SinGAN的网络结构

SinGAN的网络结构如上图所示，由金字塔形状的多个GAN网络组成，从下到上，输出图片的尺寸由小到大，由粗糙到精细。第一个生成器输入一个随机噪音，生成非常粗糙的图片，之后采用迭代的思想不断让生成器学习更多的局部细节。下面解释迭代过程。

SinGAN的单个生成器结构

生成器和判别器采用同一网络结构，如上图所示的5层卷积层。前一个生成器的输出图像经过尺寸放大后叠加等大的随机噪音作为5层卷积层的输入图像，5层卷积层的输出图像叠加前一个生成器的放大输出图像即是当前生成器的输出结果。

随着迭代次数的增加，生成图像将会越来越清晰。

损失函数

SinGAN网络的损失函数由两部分组成，一是对抗损失，二是重建损失。对抗损失是判别器判别图谱的平均值，原文献中采用了wgan-gp以增强训练的稳定性。重建损失是固定第一个生成器的输入噪音，后面生成器的噪音使用零矩阵替代，用于重建图像，采用均方误差和原始图像进行对比。

SinGAN网络之Pytorch代码解读

 源码下载 

官方源码：https://github.com/tamarott/SinGAN

其他实现：https://github.com/FriedRonaldo/SinGAN

官方源码较为复杂，因此以其他人实现的代码进行解释，数据集采用随机图像

 生成器 

生成器初始化

生成器更新

生成器前传

生成器由5个卷积层组成，若前后两个生成器结构完全相同，后一个生成器初始化时继承前一个的权重和偏置，每个4个生成器翻倍一次卷积层的通道数，最开始的通道数为32个。

判别器 

判别器前传

判别器的网络结构和更新与生成器相同，判别器前传生成和输入图像相同的判别图谱。

训练阶段

生成器的训练

判别器的训练

重建损失采用均方误差，对抗损失可选择wgan-gp、zero-gp和lsgan模式。第一个噪音采用符合标准正态分布的噪音，之后的噪音乘以均方根误差为系数。

验证阶段 

对固定的噪音和随机的噪音进行验证，固定的噪音生成重建图像，随机的噪音生成假图片。

SinGAN网络之MindSpore实现

 loss设置

与Pytorch不同，在MindSpore上的训练模型，loss和单步训练最好写成算子的形式。

g_loss设置

d_loss 设置

训练单步设置

生成器训练单步设置

判别器训练单步设置

训练设置

把原始图像调整至需要的scale，获取对应的生成器和判别器并进行初始化，采用列表的形式保存之前的生成器，保证旧生成器关闭求导功能，采用adam优化器，并和loss模块绑定成单步训练。

开始训练

得到当前生成器的输入图像和噪音，开始训练。

 保存图像

保存原始图像、重建图像和生成图像。

MindSpore官方资料

官方QQ群 : 486831414

官网：https://www.mindspore.cn/

Gitee : https : //gitee.com/mindspore/mindspore

GitHub : https://github.com/mindspore-ai/mindspore

论坛：https://bbs.huaweicloud.com/forum/forum-1076-1.html 

昇思MindSpore
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ICCV 2019 最佳论文《SinGAN：从单张自然图像学习生成式模型》
GAN_CVer的博客
11-07 2340
摘要 作者们提出了 SinGAN，这是一个可以从单张自然图像学习的非条件性生成式模型。这个模型可以捕捉给定图像中各个小块内的内在分布，接着就能够生成带有和给定图像中的视觉内容相同的高质量且多样的新图像。SinGAN的结构是多个全卷积GANs组成的金字塔，这些全卷积GANs都负责学习图像中的某个小块中的数据分布，不同的GANs学习的小块的大小不同。这种设计可以让它生成具有任意大小和比例的新图像，这...
MindSpore技术理解（下）
吴建明wujianming_110117
01-24 1584
MindSpore技术理解（下） 4 GraphEngine 由于深度学习算法需要进行大量的计算，很多公司都设计了自己的深度学习专用处理器（如谷歌的张量处理器、阿里巴巴的含光等），华为也发布了自主设计的神经网络处理单元（Neural Processing Unit，NPU）——昇腾系列芯片。可以借助 GE 在 GPU、CPU、昇腾系列芯片上操作 MindSpore 定义的模型。 如图 1 所示，GE 位于 ME 和设备之间。GE 将 ME 的输出数据流图作为输入，在 GE 内部执行某些 图处理操作，以实现昇
sinGAN及其文案.rar
11-18
这个文档包涵了，用ppt形式总结2019ICCV最佳论文以及该ppt的文案，具体原文以及代码见https://blog.csdn.net/qq_41967539/article/details/103063136。本ppt的文案中对网络的多尺度框架和loss函数有部分个人理解，仅供参考。
ICCV2019最佳论文SinGAN全面解读，看这一篇就懂了
量子位
12-23 2041
轻沉 发自 浅度寺量子位 出品 | 公众号 QbitAI在韩国首尔举办的ICCV 2019会议上，SinGAN: Learning a Generative Model from a ...
ICCV2019 最佳论文解读：SinGAN从单幅图像学习生成模型
AMiner2006的博客
10-29 3828
作者：肖健 哈尔滨工程大学 以色列理工学院与Google Research合著的《SinGAN：Learning a Generative Model from a Single Natural Image》这篇论文，在ICCV2019获得了最佳论文奖。以下是我们对此文的解读。 这篇论文提出了一种可以从单幅自然图像学习的非条件生成模型--SinGAN，能够捕捉图像的内部块分布信息，生成具有相...
【论文解读】SinGAN
Kai的博客
08-12 628
原文地址：https://arxiv.org/abs/1905.01164 github地址：https://github.com/tamarott/SinGAN 1.1 研究背景 已有方法在具有多个类别、高度多样性的数据集上表现不够好，通常需要输入另一个信号来调整或者在一个特定任务上，通过相同的生成网络完成。 SinGAN是无条件式的生成模型，在保留了原始的图像块分布的基础上，创造出新的物体外形和结构； 全卷积生成式模型，可以生成任意大小和纵横比的新样本； 从单个图像出发，绘制、编辑、协.
sinGAN论文理解
Magic_o的博客
06-11 963
SinGAN: Learning a Generative Model from a Single Natural Image https://github.com/tamarott/SinGAN 背景 在许多计算机视觉任务中，建模单一自然图像中斑块的内部分布一直被认为是一种强大的先验方法。最近的一些研究提出将一个深度模型“过度拟合”到一个单一的训练例子。它们的生成取决于输入图像(即图像)。例如，将图像映射到图像)，而不用于绘制随机样本。 做法 我们提出了singan -一种新的无条件生成模型，该模型训练
干货|一文帮你读懂ISO26262汽车功能安全！
02-24
前言新能源电控系统比传统车更加复杂，安全要求更高，其中最为人们所关注的要点之一就是功能安全的理念。在这个领域，国际汽车厂商（宝马、通用、福特等）、汽车零部件供应商（博世、德尔福等）早已采用ISO26262标准...
干货|从零到一学习知识图谱的技术与应用
01-27
本文来自作者李文哲，知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、前沿领域以及整体知识...
干货 | 基于单片机的16×64 LED 点阵显示屏的设计
07-11
LED点阵显示屏是一种简单的汉字显示器，具有价廉、易于控制、使用寿命长等特点，可广泛应用于各种公共场合，如车站、码头、银行、学校、火车、公共汽车显示等。本文详细介绍了一种低廉的16x64点阵LED显示屏的设计...
2019-ICCV最佳论文解读-SinGAN: Learning a Generative Model from a Single Natural Image
Asure_AI的博客
11-02 1905
2019-ICCV最佳论文-SinGAN: Learning a Generative Model from a Single Natural Image 作者： Tamar Rott Shaham Tali Dekel Tomer Michaeli 一句话概括论文：作者用了一个称之为金字塔的网络模型来对单张图片操作，可以实现随机生成类似图片、提高分辨率、画图转换为图片等功能。 （为了方便你们...
SinGAN一张照片即可生成同样的照片(附简化版代码)
机器学习、深度学习、强化学习、迁移学习
10-09 3149
1、摘要 本文主要讲解：SinGAN-一张照片即可生成一模一样的照片(附简化版代码) 主要思路： 先由一个Z_N输入到G_N的生成器得到生成图像（这一步是单纯由噪声生成，其他生成器的输入都是由随机噪声图像z_n和上一层生成的 上采样到当前生成器尺寸组成）。 接着利用生成图像的图像块（每一层图像块的大小不一样，按照由粗糙到精细、由大到小）和当前层的图像块（由训练数据下采样得到）放入判别器中进行判断，直到两者不能被判别器区分。 通过这种一层一层、由下往上的训练过程，得到最终的结果。 2、相关技术 SinGA
SinGAN解读: Learning a Generative Model from a Single Natural Image（如何从单张自然图片学习一个生成模型）
xiaojianzhao的博客
04-02 774
拟解决问题 在SinGAN之前已经有很多工作尝试使用单张图像训练生成式模型，但这些工作大多是条件式生成模型，只能完成某种特定的图像到图像的转换任务（如超分辨率等），另外一些非条件式生成模型也只局限在纹理这样简单结构的图像生成上。 提出方法 提出一个非条件的，可以通过一张简单图片学到信息的生成模型，模型可以学到一副图像上的图像块的内部分布，然后利用学到的信息，生成高质量、更多样性的样例，这些样...
GAN生成对抗网络-CycleGAN原理与基本实现-图像转换-10
gemoumou的python学习实记
12-22 1356
CycleGAN的原理可以概述为： 将一类图片转换成另一类图片 。也就是说，现在有两个样 本空间，X和Y，我们希望把X空间中的样本转换成Y空间中 的样本。（获取一个数据集的特征，并转化成另一个数据 集的特征） 这样来看：实际的目标就是学习从X到Y的映射。我们设这 个映射为F。它就对应着GAN中的 生成器 ，F可以将X中的 图片x转换为Y中的图片F(x)。对于生成的图片，我们还需要 GAN中的 判别器 来判别它是否为真实图片，由此构成对抗 生成网络 在足够大的样本容量下，网络可以将相同的输入图像集合 映..
SinGAN(ICCV 2019)程序问题
weixin_44732738的博客
11-01 2245
SinGAN(ICCV 2019)程序问题 Traceback (most recent call last): File “D:/python2018/SinGAN/main_train.py”, line 2, in from SinGAN.manipulate import * File “D:\python2018\SinGAN\SinGAN\manipulate.py”, line ...
ICCV2019 最佳论文解读：SinGAN
期待黎明的博客
11-07 1975
SinGAN：Learning a Generative Model from a Single Natural Image (用一张自然图片，学出一个生成模型) 。 ICCV 2019 论文 源码 这篇论文提出了一种可以从单幅自然图像学习的非条件生成模型–SinGAN，能够捕捉图像的内部块分布信息，生成具有相同视觉内容的高质量、多变的样本。SinGAN包含一个金字塔结构的全卷积GAN，每个GAN...
Paper reading: SinGAN(ICCV 2019)
Felaim的博客
10-30 2236
Paper还在读，先挖个坑，代码正在训练中。。。 运行问题： LZ自己下载了一张Ruby的图片，按照官网的Train部分，结果报错，缺少模块。。。 ModuleNotFoundError: No module named 'skimage' 安装对应模块： //更新下conda conda update -n base -c defaults conda conda install scikit...
从一张风景照中就学会的SinGAN模型，究竟是什么神操作？| ICCV 2019最佳论文
AI科技大本营
11-05 2898
作者 | 王红成，中国海洋大学-信息科学与工程学院-计算机技术-计算机视觉方向研究生，研二在读，目前专注于生成对抗网络的研究编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】10 月 27 日-11 月 2 日，计算机视觉领域的顶级会议 International Conference on Computer Vision（ICCV）在首尔召开，10月 29 日在大...
论文笔记：SinGAN: Learning a Generative Model from a Single Natural Image
weixin_39952791的博客
11-11 360
论文笔记：SinGAN: Learning a Generative Model from a Single Natural Image 简介 这是ICCV2019 最佳论文。本文提出了一个多尺度的GAN，能够用单张图片进行训练，生成一系列高质量且类似的图片。这是博主第一次阅读GAN相关的文章，难免在理解上会出现一些问题，望见谅。 github代码：官方pytorch源码 这个算法可以用于图片生...
干货 | spark streaming 和 flink 详细对比
最新发布
06-28
### 回答1： Spark Streaming 和 Flink 都是流处理框架，但在一些方面有所不同。 1. 数据处理模型 Spark Streaming 基于批处理模型，将流数据分成一批批进行处理。而 Flink 则是基于流处理模型，可以实时处理数据流。 2. 窗口处理 Spark Streaming 的窗口处理是基于时间的，即将一段时间内的数据作为一个窗口进行处理。而 Flink 的窗口处理可以基于时间和数据量，可以更加灵活地进行窗口处理。 3. 状态管理 Spark Streaming 的状态管理是基于 RDD 的，需要将状态存储在内存中。而 Flink 的状态管理是基于内存和磁盘的，可以更加灵活地管理状态。 4. 容错性 Flink 的容错性比 Spark Streaming 更加强大，可以在节点故障时快速恢复，而 Spark Streaming 则需要重新计算整个批次的数据。 总的来说，Flink 在流处理方面更加强大和灵活，而 Spark Streaming 则更适合批处理和数据仓库等场景。 ### 回答2： Spark Streaming 和 Flink 都是流处理框架，它们都支持低延迟的流处理和高吞吐量的批处理。但是，它们在处理数据流的方式和性能上有许多不同之处。下面是它们的详细比较： 1. 处理模型 Spark Streaming 采用离散化流处理模型（DPM），将长周期的数据流划分为离散化的小批量，每个批次的数据被存储在 RDD 中进行处理，因此 Spark Streaming 具有较好的容错性和可靠性。而 Flink 采用连续流处理模型（CPM），能够在其流处理过程中进行事件时间处理和状态管理，因此 Flink 更适合处理需要精确时间戳和状态管理的应用场景。 2. 数据延迟 Spark Streaming 在处理数据流时会有一定的延迟，主要是由于对数据进行缓存和离散化处理的原因。而 Flink 的数据延迟比 Spark Streaming 更低，因为 Flink 的数据处理和计算过程是实时进行的，不需要缓存和离散化处理。 3. 机器资源和负载均衡 Spark Streaming 采用了 Spark 的机器资源调度和负载均衡机制，它们之间具有相同的容错和资源管理特性。而 Flink 使用 Yarn 和 Mesos 等分布式计算框架进行机器资源调度和负载均衡，因此 Flink 在大规模集群上的性能表现更好。 4. 数据窗口处理 Spark Streaming 提供了滑动、翻转和窗口操作等灵活的数据窗口处理功能，可以使用户更好地控制数据处理的逻辑。而 Flink 也提供了滚动窗口和滑动窗口处理功能，但相对于 Spark Streaming 更加灵活，可以在事件时间和处理时间上进行窗口处理，并且支持增量聚合和全量聚合两种方式。 5. 集成生态系统 Spark Streaming 作为 Apache Spark 的一部分，可以充分利用 Spark 的分布式计算和批处理生态系统，并且支持许多不同类型的数据源，包括Kafka、Flume和HDFS等。而 Flink 提供了完整的流处理生态系统，包括流SQL查询、流机器学习和流图形处理等功能，能够灵活地适应不同的业务场景。 总之，Spark Streaming 和 Flink 都是出色的流处理框架，在不同的场景下都能够发挥出很好的性能。选择哪种框架取决于实际需求和业务场景。 ### 回答3： Spark Streaming和Flink都是流处理引擎，但它们的设计和实现方式有所不同。在下面的对比中，我们将比较这两种流处理引擎的主要特点和差异。 1. 处理模型 Spark Streaming采用离散流处理模型，即将数据按时间间隔分割成一批一批数据进行处理。这种方式可以使得Spark Streaming具有高吞吐量和低延迟，但也会导致数据处理的粒度比较粗，难以应对大量实时事件的高吞吐量。 相比之下，Flink采用连续流处理模型，即数据的处理是连续的、实时的。与Spark Streaming不同，Flink的流处理引擎能够应对各种不同的实时场景。Flink的实时流处理能力更强，因此在某些特定的场景下，它的性能可能比Spark Streaming更好。 2. 窗口计算 Spark Streaming内置了许多的窗口计算支持，如滑动窗口、滚动窗口，但支持的窗口计算的灵活性较低，只适合于一些简单的窗口计算。而Flink的窗口计算支持非常灵活，可以支持任意窗口大小或滑动跨度。 3. 数据库支持 在处理大数据时，存储和读取数据是非常重要的。Spark Streaming通常使用HDFS作为其数据存储底层的系统。而Flink支持许多不同的数据存储形式，包括HDFS，以及许多其他开源和商业的数据存储，如Kafka、Cassandra和Elasticsearch等。 4. 处理性能 Spark Streaming的性能比Flink慢一些，尤其是在特定的情况下，例如在处理高吞吐量的数据时，在某些情况下可能受制于分批处理的架构。Flink通过其流处理模型和不同的调度器和优化器来支持更高效的实时数据处理。 5. 生态系统 Spark有着庞大的生态系统，具有成熟的ML库、图处理库、SQL框架等等。而Flink的生态系统相对较小，但它正在不断地发展壮大。 6. 规模性 Spark Streaming适用于规模小且不太复杂的项目。而Flink可扩展性更好，适用于更大、更复杂的项目。Flink也可以处理无限制的数据流。 综上所述，Spark Streaming和Flink都是流处理引擎，它们有各自的优缺点。在选择使用哪一个流处理引擎时，需要根据实际业务场景和需求进行选择。如果你的业务场景较为复杂，需要处理海量数据并且需要比较灵活的窗口计算支持，那么Flink可能是更好的选择；如果你只需要简单的流处理和一些通用的窗口计算，Spark Streaming是更为简单的选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值