L0 Gradient-Preserving Color Transfer

Abstract

• 本文提出了一种新的两步颜色传递方法，包括颜色映射和细节保存。
• 为了将源颜色映射到来自图像或调色板的目标颜色，所提出的保持相似性的颜色映射算法使用像素颜色与主导颜色之间的相似性作为现有算法，并强调源图像像素颜色之间的相似性。
• l0梯度保持算法---它缓和了稀疏像素沿颜色区域边界的大梯度，并保留了颜色区域内像素的小梯度。
• 该方法很好地保持了源图像的颜色相似性和图像细节。

Introduction

• 颜色转移是一种图像编辑技术，通过将源图像内容与目标图像或调色板的颜色样式组合来生成新图像。
• 当对源图像应用目标颜色时，成功的颜色转移算法必须同时保留源图像的细节和颜色相似性。
• 基于梯度保持的方法通常试图使得到的图像像素与源图像中的像素具有相同的梯度。
• 为了建立目标和源图像颜色之间的映射，通常假设源图像和目标图像具有相似的全局颜色分布，进行全局颜色映射。
• 目前算法的一个典型缺陷是，当源和目标颜色统计量相差很大时，源图像颜色相似性没有得到很好的保存。基于显性色的算法可以通过两阶段颜色映射策略来缓解这个问题，该策略首先获得从源图像显性颜色到目标图像显性颜色的映射，然后将该映射传播到所有源图像像素。
• 本文提出了一种新的颜色传递方法，以更好地保持图像的细节和颜色相似性。通过基于L0梯度保持模型的新算法，获得了改进的细节保持性能。
• 它不同于现有的梯度保持模型，该模型在颜色转移时处理所有的像素梯度。
• 所提出的L0梯度保持模型强制结果图像中的颜色区域像素梯度保持源图像中的原始值。
• 对于颜色映射，提出一种基于主导颜色的相似性保持颜色映射模型。
• 保持像素相似性的约束会导致大规模的非稀疏优化解，算法采用分层方案来简化计算。这种层次结构通过引入源图像超像素作为样本来实现。

Related Work

• 颜色映射建立源图像和目标图像的颜色对应关系，并将源图像颜色转换为目标图像颜色。与颜色映射相关的算法大致可以分为两类：全局映射和局部映射。
• 莱因哈德等人提出了映射目标图像颜色均值和方差对源图像颜色均值的影响
• Pitie提出了一种N维概率密度函数（PDF）传递方法。连续映射将源图像颜色转换为显示与目标图像颜色相似的PDF的新的颜色集合。
• 肖和马使用了全局直方图匹配算法，强制结果图像和目标图像的颜色直方图相同
• 通常，全局算法的性能取决于目标图像颜色分布和源图像颜色分布之间的相似性。
• 当来自源图像和目标图像的PDF不相似时，算法可能会拉伸源图像中的像素颜色值并导致内容失真.
• 在这些局部算法中，颜色转移在颜色对应和空间关系的存在下发生，策略是首先获得代表性颜色的对应关系，特征点颜色，图像补丁颜色从源图像到目标图像，然后通过GMM和径向基函数插值等技术将对应关系传播到源图像的所有像素颜色。
• 在颜色映射之后，某些图像细节可能会丢失或更改。 它经常发生在具有相似颜色的相邻像素以不同方式映射的地方。 通常使用附加约束来保留先前方法中的图像细节。
• Bonneel 在颜色映射结果上添加了空间滤波步骤，以保留视频细节。
• 苏利用迭代概率颜色映射方法，配备自学习滤波方案和最小化标准化Kullback-Leibler距离的多尺度细节操作程序。
• 我们的L0范数优化方案与在XLJX中提及的工作有关，他们提出了一种基于L0梯度最小化的优化框架，以获得边缘保持图像平滑任务。他们的算法将颜色区域内的像素梯度强制为零，并保留沿区域边界的像素的大梯度。保持L0梯度的优化方案与此不同之处在于它需要保持原始梯度的像素尽可能多。
• 该算法导致颜色区域内的像素梯度通常保持原始值（即，对应的源图像像素的梯度值），并且位于颜色区域边界处的像素梯度可能与其原始值具有很大差异。

Definition of Terms

• 两种颜色的颜色相似性与它们的距离成反比。具体地，给定RGB颜色和，它们的相似性由定义，其中是两种颜色的欧几里德距离，σ是协方差。 参数通常设置为0.005。越大表示相似性越高。
• 我们引入这个概念来测量两组颜色之间的相似性。本文中令A=和令B=，其中M和N分别表示两个颜色组的元素数。它们之间设定的颜色相似度为，它是M×N矩阵。记录所有颜色对之间的所有颜色相似性和。即
• A与其自身之间的设定的颜色相似性由SA表示。
• 在给定映射下，使用颜色一致性来测量源图像主色和目标图像主色之间的匹配程度。设置源主色和目标主色。代表着A到B的映射。被映射到。
• 颜色一致性被定义如下：
• 越小表示匹配度越高。
• 让颜色映射过程将重新着色为，像素的颜色改变为。如果在中对于所有的匹配像素都满足和，，那么我们说颜色映射是保持相似性的。
• 像素具有相似颜色的连接像素区域（即，在该区域中，像素之间的颜色相似性大）被称为颜色区域。该区域的边界称为区域边界。 颜色区域内的像素梯度小，沿区域边界的像素梯度大。

Overview

• 给定输入对原始图片和目标图片，该框架包含两个顺序过程：保持相似性的颜色映射过程，然后是基于L0梯度保留的细节恢复过程。颜色映射过程生成和的中间图像。
• 颜色映射过程提取两组主色和，通过聚类相应图像中的像素颜色和。
• 从到建立颜色映射，被分割成超像素获得有效样品。
• 它通过颜色相似性保留约束进一步优化。 使用这些超像素的这种最佳颜色映射，计算所有像素的颜色映射以生成图像IM。
• 当每个超像素变换传播到其它像素时，相邻超像素的边界像素可能具有不同的颜色偏移矢量，这可能导致IM和IS之间的不同梯度值。
• 如果两个相邻超像素的颜色非常不同，则此效果不明显，因为边界也是图像边缘，并不代表图像细节。
• 细节恢复过程以IM和IS梯度为输入，并使用L0范数梯度保持模型迭代地优化IM像素颜色，以加强IM和IS中像素梯度的一致性。该方案导致IR中的大多数像素具有与IS中的对应像素相同的梯度。

Similarity-preserving Color Mapping Model

• S中的DS和IT中的DT是通过K-means聚类在RGB颜色空间中分别为IS和IT获得的。选择每个聚类中心x作为主色实体。IS和IT的主色分别表示为和。在这里和代表着在和的总数量。
• 使用Ds或Dt中所有颜色的均匀概率分布作为权重，采用地球移动距离（EMD）算法[RG00]来计算从Ds到Dt的最优流量，从而建立从DS到DT的映射π。也可以交互式地构建映射，尤其是当目标图像是调色板时。
• 为了在IS中传输每个像素的颜色，主动解决方案是硬映射策略，其使得公共颜色簇内的像素颜色遵循与对应的主色相一致的映射。每个像素将具有与相应的主色相同的偏移色矢量。这种硬策略可能无法保持IM中的像素颜色相似性。
• 提出了一种基于相似性保持约束的软映射策略，以解决硬映射产生的问题。它为IS中的每个像素计算最佳偏移颜色矢量，以保持IS中任意两个像素的颜色相似性，特别是对于那些具有高相似性的像素。
• 软映射策略考虑了两个因素：（1）IS中像素的预期偏移颜色矢量与硬映射之间的差异应该与该像素颜色与其对应的主色之间的相似性有关.（2）两个颜色相似的像素应该具有类似的偏移颜色矢量以保持它们的相似性。
• 包含M个像素的源图像IS通过算法被分割成N个超像素U.给定一个超像素，假设大多数的像素值属于族，其具有颜色。主色的偏移向量可以被计算通过.
• 目标函数计算N个超像素的最佳偏移颜色矢量可以定义如下：
• 在这里N是U中超像素的数量，是第K的超像素的均值，是配对颜色的相似性。λ是控制两个术语的权重的参数。

L0 Gradient Preservation

• L0梯度保持模型旨在通过源图像梯度实现图像细节保存。在该模型中，大多数像素梯度保持不变，但允许沿着颜色区域边界的像素的梯度变化。
• 给定中间图像IM和源图像梯度∇IS，模型预期将恢复对于结果图像IR的IS细节，同时最大限度地保持颜色映射过程结果。 这个目标可以转化为优化问题，最大限度地减少以下能量函数：
• 表示中间，源和传输图像;是一个梯度算子。和表示表示L0和Frobenius范数，表示L0范式的权重。是表示矩阵条目A的L2范数平方的算子。
• 引入辅助变量来重写能量函数：
• 其中ν是权衡参数，可以使用块坐标下降方法来优化上述公式。在实验中，μ根据经验设定为0.2。 ν初始化为10μ，并且在每次迭代中加倍，直到ν= 105。
• 我们在计算t时使用IR。 在最初的情况下，IR = IM。 搜索等式（4）的最优解相当于最小化以下等式：
• 当达到最小时：
• 
• 同样，我们在编译IR时也会遇到问题。 搜索等式（4）的最优解相当于最小化以下等式：
• 等式（7）中的函数是二次函数并且具有闭式解。

Conclusions

• 成功的颜色转移应满足几个基本标准：准确地将目标图像中的颜色传送到源图像，同时保持源颜色相似性，并保留源图像细节。 即使源图像颜色和目标图像颜色不匹配，所提出的方法也很好地解决了这些问题。
• 所提出的相似性保持颜色映射模型强调保持源图像像素颜色相似性，同时匹配目标主色。 通过组合局部与全局像素颜色相似性来实现像素颜色相似性，以简化模型求解器。 每个超像素都是样本，因为具有相似颜色的超像素中的局部像素遵循相同的颜色映射模式。
• 在大多数情况下，由于不同主色的不同颜色映射模式，在颜色转移期间保留所有图像梯度是不可能的。 所提出的L0梯度保持方法强制在所得图像中的颜色区域内的像素对相应的像素源图像进行分析。比较图像渐变到颜色区域边界。 所提出的L0梯度保持方法不具有由全局梯度保持方案引起的边缘模糊或颜色混合外观。