(sketch to image) 论文阅读笔记 SketchyCOCO:Image Generation from Freehand Scene Sketches

最新推荐文章于 2023-10-08 20:57:54 发布
最新推荐文章于 2023-10-08 20:57:54 发布
阅读量2k 收藏 14
点赞数 3
分类专栏： sketch2image 文章标签： 深度学习 神经网络 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuyuhaha123/article/details/109400096
版权

在这里插入图片描述在这里插入图片描述

Task

Description：根据sketch生成全景图
Input： 包含前景sketch（如上图中的斑马，长颈鹿，大象等）和背景sketch（如草-草地，白云-天空，树-森林等）的全景级freehand sketch。
Output：对应的Real Scene Image

Introduction

作者表示sketch相比其他信息（text / semantics maps / scene graph）更加能够表现用户的意向。
（sketch自然的包含了一些物体细节，例如：物体姿态 / 位置 / 形状）
sketch2Image中的难点在于生成能够反映用户意图的图片

sketch区分 前景 和 背景
大多数用户更加在意前景的生成效果和细节，同时也在前景上提供了更加具体和细节的描绘
相比之下，背景大多数是留白或者是简略的线条
问题在于如何处理这两种不同的需求

method

为了出了上述问题，作者将处理分为两个阶段
（1）前景图生成，尽可能地满足用户特定要求
（2）背景图生成，生成与sketch位置对齐的图片内容
生成的前景图为背景增加了限制，也就是说这种先前景后背景的方式，降低了背景图生成的难度

由于sketch本身具有抽象性和不确定性
为了解决由此带来的数据差异问题，作者设计了一个新的神经网络算法 EdgeGAN
该算法将图片和对应的花里胡哨的edge映射到了一个共享的隐空间中（其中的向量可以表示高级的属性信息）

将属性向量作为桥梁，将sketch2image的问题转化到了edge2image，而无需收集手绘的前景sketch来作为训练数据
由此可以处理在图片和多变的sketch建立对应关系的匹配问题

Dataset-SketchyCOCO

基于MS COCO Stuff数据集，作者推出了一个大规模综合数据集 SketchyCOCO

当前版本包含了14K+的成对（sketchs - images）的场景级图片
覆盖14个类的20K+组图片：前景sketches - images - edge maps
包含3个类的27K+成对图片 背景sketches - images
14K+的场景sketches的分割GT
与现有的sketch2image方法相比，无论是定性还是定量的结果上，EdgeGAN都表现出了优异的性能
Contribution：
1. 提出了基于深度神经网络的sketch2image框架
2. 端到端的sketch2image生成模型EdgeGAN，无需成对的图片作为训练数据
3. 基于MS COCO Stuff构建大型数据集SketchyCOCO

Workflow

在这里插入图片描述

1.对输入的sketch进行定位和识别（分割方法源于《language-based-colorization-of-scene-sketches》（ACM TOG 2019））
2. 随后对于其中识别为foreground类的各个object独立进行图像生成（图中斑马）
3. 将生成的前景图和属于background的sketches作为输入，生成最终的图像

Model

主要包括两个模型
即 foreground generation 和 background generation 两个部分

Foreground generation

在这里插入图片描述
不同于 SketchGAN 直接匹配 single image 和 对应的sketch
作者将输入sketch的表达意图编码为attribute vector，并使用L1loss使得noise vector的分布向attribute vector靠拢

Background generation
背景生成中的关键挑战在于 背景是由大量的 sketch 和 blank 两部分组成的
而其中blank区域能够提供的约束不足，使得生成图片存在相当的不确定性
作者通过加入 foreground generation 生成的前景图片作为约束 
并训练pix2pix用于生成对应的背景（paper中没有给出更为具体的描述）

Results

在这里插入图片描述
在single object generation上，EdgeGAN是明显优于其他Model的

在这里插入图片描述
作者将本文结果与其他Scene level sketch2image模型
以及 GauGAN、Asheual等使用其他输入（layout/scenegraph）的模型输出图片做了对比

其中，SS（Shape Similarity）是input sketch 和利用生成的图片所得到的edge map的 L2 Gabor feature distance
Realism由FID和Acc计算得来，FID越低，Acc越高，则model在Realism数值上表现越好
Faithfulness则是通过计算 input sketch 和生成图片的edge map之间 的 相似度

结果可以看出
当前的Scene level sketch2image模型中 EdgeGAN总体表现较好
相比约束较少的采用其他输入的model，EdgeGAN在FID（local）和Realism上也具备一定优势

其中FID（local）是通过计算生成图片中的foreground区域所得
这也意味着在single object的图片生成中，EdgeGAN更具优势

discussion and limitation

Controllability in Background Generation

在这里插入图片描述

上图中验证了background的可控性，不同数量的 grass 和 tree 在最终生成的图片背景中得到了不同的效果

Dataset Bias and Sketch Segmentation

Q1:Dataset Bias

作者对数据集中foreground类中目标的不同角度做了统计分析，发现存在相当程度的不均现象
在这里插入图片描述
由于foreground object images在生成background时起到约束作用
这样的bias一定程度上影响了background生成时的偏好

Q2:Sketch Segementation

在使用当前的实例分割算法进行Sketch Segementation时，当输入sketch过于抽象时，会出现错误分类的情况

个人总结

  • main contribution
    – 提出了基于MS COCO 提出了包含14个foreground，3个background的Sketch COCO数据集
    – 设计了EdgeGAN（主要在前景生成中）
    – 第一篇Scene level object image Generation from sketch
    – 在现有条件下，生成效果相当不错
  • 存在的问题
    – 受限于数据集，前背景类别都有限
    – 全景图生成时，不能很好的控制整体的光影效果，前景和背景仍存在较强的不协调感
    – 在全景中存在多个object时，会对背景生成造成区域性影响，从而导致图片整体不协调
liuyuhaha123
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
手把手写深度学习(10)：用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)
沉迷单车的追风少年
03-01 3112
前言：2017年GANs正如火如荼地发展，有CGANs、DCGANs等前辈珠玉在前，Pix2Pix GANs横空出世，在多种多模态任务上有着亮眼的表现，并且首次把U-net结构带到了深层次生成模型当中，非常有意义。本文用Pix2Pix GANs实现sketch-image这一跨模态任务。 encoder-decoder：多模态基础 现在很多多模态的任务，都是基于encoder-decoder的结构，或者attention机制。作为多模态生成任务的鼻祖，pix2pix gan的生成器使用了encoder.
sketch-image-replace:图片替换为素描
04-29
图片替换为素描 一种从您选择的目录中的图像替换一个或多个矢量形状的快速方法。 该插件来自Content Generator。 主要区别在于，使用“图像替换”可以将图像存储在计算机上的任何位置，而不必存储在插件目录中。 该插件具有三个命令： 替换（shift + cmd + i）：使用您选择的文件夹中的图像填充选定的形状。 选择第一次后，它不会再询问。 使用“设置”命令将其重置。 手动选择（Ctrl + shift + cmd + i）：与上述相同，但每次都可以选择文件夹 重置默认目录：更改用于“替换”命令的目录
SketchyCOCO数据集进行前景图像、背景图像和全景图像的分类
最新发布
weixin_43723625的博客
10-08 306
【代码】SketchyCOCO数据集进行前景图像、背景图像和全景图像的分类。
论文中文翻译——SketchyCOCO Image Generation from Freehand Scene Sketches
IronmanJay的博客
03-15 516
此博客为SketchyCOCO Image Generation from Freehand Scene Sketches论文的中文翻译，本篇论文主要研究的是如何从手绘草图生成我们日常生活中的完整图像，这也是最近比较火的一个领域，通过阅读本篇论文翻译博客，相信大家一定会对此方向有一个更深入的了解，下面就是本文的全部内容！
sketch领域最新的论文
weixin_35755434的博客
02-17 101
在sketch领域，最近发表的有关论文包括《Sketch-R2CNN：基于深度学习的智能sketch识别》、《SketchX：一种新的sketch检索方法》和《从概念到图像：基于深度学习的sketch绘制》。 ...
论文笔记-Unsupervised Sketch-to-Photo Synthesis
kingsleyluoxin的博客
08-27 892
论文信息 标题： Unsupervised Sketch-to-Photo Synthesis 作者：Runtao Liu, Qian Yu, Stella Yu 机构：北京大学；北航；UCB;ICSI 出处：ECCV 2020 代码链接 None 论文主要贡献 提出第一个两阶段的无监督模型，可以基于手绘草图生成各自不同、和草图结构吻合、风格真实的图像 引入自监督学习目标和注意力模块用于处理草图中的抽象和风格差异问题 模型不仅可以增强基于草图的图像获取，而且能够作为除了图像边缘图之外的..
End-to-End Freehand Sketch-to-Image Generation 模型、数据、代码
05-15
End-to-End Freehand Sketch-to-Image Generation论文对应的 模型、数据、代码
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
自监督-Sketch2Image-pytorch 自监督草图到图像模型的 pytorch 实现，该论文可以在找到。0. 数据对于 CelebA 和 WikiArt 绘画图像，预处理后的 RGB 图像数据及其对应的草图图像可在此1. 说明代码结构如下： models....
py-sketch-image：从图像生成草图版本。 它使用python3和OpenCV创建图像的草图版本
02-06
py-sketch-image 从图像生成草图版本。... python3 sketch.py /image/path/to/sketch3.联系如果您对如何改进软件有任何想法，请在下面的链接中给我留言。免责声明：请注意，该软件是按原样提供的，在任何
Image2Palette：素描插件，可从图像层生成调色板
02-06
Image2Palette 一个草图插件，可从图像层生成调色板。 支持 用户指南 获取调色板 选择一个图像层 按CTRL + SHIFT + P生成调色板 设置身份验证 按CTRL + SHIFT + K设置验证值 安装 点击下载插件 开发指南 注意：请...
ImageToSketch:图像到铅笔素描的转换
03-18
图像到草图的转换 从网络摄像头捕获实时图像。 或将图像上传到网页。 转换图像并在网站上上传草图 图片 图像 草图
Sketch-To-Image-Using-GANs
04-01
草图到图像使用GAN 生成对抗网络，将艺术家制作的草图转换为看起来像真实人物的真实图像。 在这项研究中，我们作为一个团队着手研究这个项目，以学习这些网络如何工作并实施一个生成的对抗网络，该网络可以根据草图创建真实的生活图像。 它可能有很多用例，其中之一是，当定罪者通过网络传递时，其草图将提供现实生活中的匹配图像，执法机构可以使用该图像。
EdgeGAN:纸代号“ SketchyCOCO
05-04
边缘GAN | SketchyCOCO：从徒手绘制的场景草图生成图像高成英，刘奇，徐奇，王立民，刘建壮，邹长青 安装 克隆此仓库。 git@github.com:sysu-imsl/EdgeGAN.git cd EdgeGAN 此仓库需要TensorFlow 1.14.0和python 3+。 建议使用conda conda create/activate来管理多个版本的tensorflow。 切换到适当的conda环境后，运行conda install --file requirements.txt 数据集 我们的数据集可以在找到。 遵循指南并准备数据集。 目录结构 对于单类数据集 EdegGAN └───data └───train | | <file00>.png | | <file01>.png | | ...
matlab的素描代码-SketchyCOCO:SketchyCOCO数据集（CVPR2020）
05-24
matlab的素描代码SketchyCOCO数据集 该存储库托管ShetchyCOCO数据集。 有关更多信息，请参阅我们的CVPR文件：。 可以使用或探索SketchyCOCO数据集。 概述 数据集 SketchyCOCO数据集由两部分组成： 对象级数据对象级数据包含$ 20198（train18869 + val1329）$个三元组的{前景素描，前景图像，前景边缘图}示例，涵盖14个类别，$ 27683（train22171 + val5512）$对{背景素描，背景图像}示例，涵盖3个类别。 场景级数据 场景级别的数据包含$ 14081（train 11265 + val 2816）$对{前景图像和背景草图，场景图像}示例，$ 14081（train 11265 + val 2816）$对{场景草图，场景图像}示例和分段地面真相费用为$ 14081（火车11265 + VAL 2816）$场景草图。 一些val场景图像来自COCO-Stuff数据集的训练图像，用于增加SketchyCOCO数据集的val图像数量。 数据集增强 我们为9个对象增加了4662张图像，包括它们的对应边缘贴图
Foreground Object Detection from Videos Containing Complex Background
08-15
This paper proposes a novel method for detection and segmentation of foreground objects from a video which contains both stationary and moving background objects and undergoesboth gradual and sudden “once-off” changes. A Bayes decision rule for classification of background and foreground from selected feature vectors is formulated. Under this rule,different types of background objects will be classified from foreground objects by choosing a proper feature vector. The stationary background object is described by the color feature,and the moving background object is represented by the color co-occurrence feature. Foreground objects are extracted by fusing the classification results from both stationary and moving pixels. Learning strategies for the gradual and sudden “once-off” background changes are proposed to adapt to various changes in background through the video.The convergence of the learning process is proved and a formula to select a proper learning rate is also derived. Experiments have shown promising results in extracting foreground objects from many complex backgrounds including wavering tree branches, flickering screens and water surfaces, moving escalators, opening and closing doors, switching lights and shadows of moving objects.
itk registration 2
fanre的专栏
10-18 337
参考：https://itk.org/ITKSoftwareGuide/html/Book2/ITKSoftwareGuide-Book2ch3.html#x26-1740003.18 3.2 “hello world”配准 https://github.com/InsightSoftwareConsortium/ITK/blob/master/Examples/RegistrationITKv4/ImageRegistration1.cxx #include "itkImageRegist..
最大的sketch-image配对数据集SketchyDatabase：解读、分析、应用与实战
沉迷单车的追风少年
05-02 1206
目录 数据集简介 数据集读取和使用 下载方式 项目主页 代码地址 百度网盘下载地址 测试数据集划分 数据集简介 Sketchy数据集是第一个大规模的素描照片配对数据集。在数据集收集时，要求人群工作者从125个类别中抽样绘制特定的摄影物体，并获得12500个物体的75471幅草图。Sketchy数据库为我们提供了特定照片和草图之间的细粒度关联，使用它来训练跨域卷积网络，将草图和照片嵌入到一个共同的特征空间中，使用我sketchy数据库作为细粒度检索的基准，实验结果表示显著优于手工特征以及
翻译：Foreground Object Sensing for Saliency Detection
非凡博客
03-26 368
一篇关于图像显著性分析检测的论文翻译：https://asdfv1929.github.io/2018/03/22/Foreground-Object-Sensing-for-Saliency-Detection/
[论文笔记]自监督sketch-to-image生成：Self-Supervised Sketch-to-Image Synthesis
沉迷单车的追风少年
06-16 641
1、以一种自我监督学习的方式研究了基于范例的草图到图像(s2i)综合任务，消除了配对草图数据的必要性。2、利用合成的配对数据，提出了一个自我监督的自动编码器(AE)，从草图和RGB图像中解耦内容/风格特征，合成出既符合草图内容又符合rgb图像风格的图像。3、为了进一步提高高分辨率的合成质量，我们还利用对抗网络来细化合成图像的细节。4、利用所提出的草图生成器，该模型在风格混合和风格转移方面表现出良好的性能，这要求合成的图像既具有风格一致性，又具有语义意义。1、提出了一个用于通用rgb数据集的线草图生成器，它可
sketch to image
05-10
Sketch to image是指通过手绘或电脑绘制的简笔画或草图，经过图形识别和计算机图像处理的过程，转化为真实的图像。这种技术可以应用于各种场景，例如动画制作、游戏开发、建筑设计、工业设计等等。 Sketch to image技术的核心在于计算机视觉和机器学习，通过训练神经网络和深度学习算法，让计算机能够识别出简笔画中的重要特征，并将其转化为真实的图像。这里需要注意的是，由于简笔画的表现形式非常简洁，所以在图像处理过程中需要考虑到如何同时保持简洁和真实，以达到要求的效果。 Sketch to image技术的应用，可以大大提高生产效率和节省设计成本。以建筑设计为例，设计师常常需要花费大量时间和精力绘制精美的效果图，而且需要不断修改和完善，这种过程非常繁琐。如果采用Sketch to image技术，只需要绘制简单的草图，就可以快速生成真实的建筑图像，节省大量时间和成本。 当然，Sketch to image技术的发展也需要面临一些问题和挑战。比如如何忠实地还原手绘草图的特点，如何进行自然光影处理等等。这些问题需要持续不断的技术研发和实践，才能为各行各业带来更多实用价值。总之，Sketch to image技术是一个非常有前景的领域，可以应用到越来越多的领域，为人们带来更多便利和创新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值