论文《PaletteNet: Image Recolorization with Given Color Palette》部分笔记

最近在尝试着写一些初稿，也在找一些论文的代码，看看别人的工作是否对我的课题有所帮助。这篇论文的在GitHub上也有实现，我这里用的是pytorch的：

https://github.com/yongzx/PaletteNet-PyTorch

Abstract

图像重新着色可增强图像的视觉感知，以用于设计和艺术目的。 在这项工作中，我们提出了一个称为PaletteNet的深度神经网络，该网络根据给定的目标调色板对图像重新着色，这对于表达图像的颜色概念很有用。 PaletteNet接受两个输入：要重新着色的源图像和目标调色板。 然后，将PaletteNet设计为更改源图像的颜色概念，以使输出图像的调色板接近目标调色板。 为了训练PaletteNet，建议的多任务损失由欧几里得损失和对抗损失组成。 实验结果表明，该方法优于现有的重着色方法。 使用商业软件的人类专家平均需要18分钟才能对图像重新着色，而PaletteNet会在不到一秒钟的时间内自动对可能的结果重新着色。

 

1.Introduction

色彩是人类对日常生活的视觉感知中必不可少的元素。艺术品或电影中美丽的色彩和谐满足了我们对色彩的渴望。因此，设计师和艺术家必须努力在其作品中建立基本的色彩概念。丰富的色彩选择赋予作品稳定，统一和个性的感觉。通常，设计师通过调色板表达颜色概念。图像的调色板代表具有六种颜色的图像的颜色概念，如图1所示。包含独特颜色概念的相应调色板是主观的，调色板的数量是不可数的。典型的设计师会在工作之前通过调色板仔细选择颜色概念。此外，优选使用目标调色板对图像重新着色以保持图像在艺术品之间的一致性和同一性。因此，重新着色问题在增强观看者的视觉理解中占据着至关重要的位置。

图1.图像和相应的调色板。 调色板表达图像的色彩概念。 从Designseeds.com收集[1]

图2.我们的概念上色模型。 从一对源图像和目标调色板中，根据目标调色板的颜色概念对生成的图像重新着色。

研究人员一直在以各种方法和目的来解决再着色问题。 Kuhn等 [9]提出了一种实用的方法，可以通过夸大颜色对比度来增强dichromat的可见性。 但是，它忽略了色彩概念，缺乏美学。 卡萨卡等人[2] 提出了一种着色算法，该算法需要分割蒙版和某些像素颜色的用户提示。 即使基于颜色提示的着色被认为是每个像素所需的颜色，但算法远非自动着色。

为了反映预期的颜色概念，已经提出了基于调色板的方法[5、3]。 Greenfield等[5]提出了一种使用调色板的颜色关联方法，该方法提取了源图像和目标图像的调色板，并通过在色彩空间中关联调色板来对源图像重新着色。 Chang等[3]提出了一种利用源图像和目标图像的调色板之间的关系进行颜色转移的算法。这种方法帮助用户对预期的颜色概念进行了精细控制。但是，如何将调色板空间中的颜色转换函数[5，3]很好地用于内容感知的重新着色是令人怀疑的。例如，花朵看起来比天空更复杂。因此，花的重新着色比天空的重新着色需要更多的努力。每个对象都有不同的颜色特征，简单的调色板匹配重新着色忽略了它们。此外，在图像上全局执行颜色转换可能不合适。例如，我们可能希望图像中的红色郁金香和红色鸟分别重新着色为黄色郁金香和绿色鸟。因此，自然会部署一个深度神经网络，该网络具有理解源图像内容（郁金香，鸟等）的实力。

在本文中，我们为基于给定目标调色板的内容感知图像重新着色提出了一种深度学习架构。提议的深度架构需要两个输入，即源图像和目标调色板。如图2所示，输出图像是源图像相对于目标调色板的重新着色版本。在我们的论文中，调色板包含艺术品中六种最具代表性的颜色。六个是最小的，并且仍然足以表示相似，单色，三重，互补或复合的颜色组合。尽管调色板的空间尺寸很小，但我们假设调色板中的信息量很多，可以表达特定的颜色概念。为了在给定的调色板下获得逼真的彩色图像，我们提出了一种编码器-解码器网络和由欧几里得损失和对抗损失组成的多任务损失函数。To gather image and palette pairs to train the proposed network, we scraped the Design-seeds website [1] and created a dataset. 由于通常不存在图像的不同颜色版本，因此我们提出了颜色增强方法来扩展数据集以训练深度神经网络。建议的网络以端到端和数据驱动的方式进行训练。在实验中，我们证明了我们的模型优于现有的重新着色模型，并在一秒钟内产生了合理的结果，而人类专家平均要花费18分钟。

2. Structure of PaletteNet

PaletteNet具有两个子网：特征编码器网络，用于从源图像中提取内容特征；以及重新着色解码器网络，用于将内容特征和目标调色板解码为重新着色的输出。

只是简单看了前面的部分，没具体看其他具体步骤。

github上的第一个链接无数据集，所以没办法尝试。