Image Smoothing via L0 Gradient Minimization

Abstract

• 我们提出了一种新的图像编辑方法，特别是通过增加过渡的陡度来锐化主边缘，同时消除可控制的低幅度结构。
• 在利用L0梯度最小化的优化框架中实现看似矛盾的效果，其可以全局控制以稀疏度控制方式产生多少非零梯度以接近突出结构。
• 与其他边缘保留平滑方法不同，我们的方法不依赖于局部特征，而是全局定位重要边缘。
• 它作为一种基本工具，可以找到许多应用，尤其对边缘提取，剪贴画JPEG伪影去除和非真实感效果生成。

Introduction

• 在操纵和理解图像时，对于显着结构的高级推断得到了广泛的关注。
• 我们的想法是利用全局保持并且通过增加过渡的陡度而不影响整体的锐度而可能地增强最突出的边缘集。
• 从算法上讲，我们在优化框架中提出了一种稀疏梯度计数方案。
• 主要贡献是一种新的策略来确定相邻像素之间的离散数量的强度变化，这些数据在数学上与L0规范相关联，用于信息稀疏性追踪。
• 我们的方法的定性效果是使显着边缘变薄，这使得它们更容易被检测到并且在视觉上更加清晰。
• 与颜色量化和分割不同，我们的增强边缘通常与原始边缘一致。
• 在传统的层分解中，通过额外的步骤来避免结构过度增强，我们的方法适用于基于分离层的细节增强，并且可能适用于参数调整后的HDR色调映射

Background And Motivation

• 双边滤波因其简单和有效去除类噪声结构而被广泛使用。
• 各向异性扩散也被设计用于在保留重要结构的同时抑制噪声，其涉及边缘停止功能以防止平滑过强边缘
• 与局部滤波相比，加权最小二乘测量算法具有边缘保持正则化的特点，而且其优化框架更灵活。
• 我们的方法来自于整个估计过程，以及边缘增强行为。
• 为了有效地传播草图，利用测地距离和扩散距离来替换传统的色差，来处理纹理表面或具有复杂形状的表面。
• 在去除低振幅结构之后，可以在我们的边缘增强图像上更有效地执行用户交互。

1D Smoothing

• 我们通过确定非零梯度的数量来增强最高对比度边缘，同时以全局方式实现平滑.
• 首先，我们用g表示输入离散信号，用f表示平滑结果。我们的方法离散地计算幅度变化，写为
• 
• 其中p和p + 1索引相邻的样本（或像素）。| Fp-Fp + 1 | 是一个梯度， p以前向差分的形式出现。＃{}是计数运算符，输出的p的数量满足| Fp-Fp + 1 | !=0。那就是L0范式梯度。c（f）不计算梯度幅度，如果边缘仅改变其对比，则不会受到影响
• 单独的度量c（f）不起作用，它需要使用一般性约束。结果f应该在结构上类似于输入信号g 。
• 我们将具体的目标函数表达如下：
• 
• c(f)=k暗示在结果中存在K个非0梯度值。上述公式非常有利于抽象结构化信息。较大的k产生一个近似的近似值，仍然是最突出的对比度的特征。
• 上述方程的成本在于二次平方差，不允许许多像素彻底改变它们的颜色。因此，可以利用一种可控和统计的方式去除低振幅结构。
• 由于避免了局部变换和平均运算，因此这种结构的一个显著特点是不存在边界模糊。
• k的取值为几十到几千，特别是在2D的图像中拥有不同的求解。为了控制它，我们采用一般形式来寻求结构与输入之间的平衡和结果的相似性，并写作为
• 
• 在这里是一个直接控制c(f)重要性的权重。它实际上是一个平滑参数。一个较大的会使结果具有非常少的边缘。非零梯度的数量相对于是单调的。

2D Formulation

• 在二维图像中，我们使用I表示输入图像，使用S表示计算的结果。这个梯度值是通过沿着相邻像素值的X方向与Y方向的样颜色差值。我们的梯度测量值表示如下：
• 
• 它计算p的梯度值不为0的数量。通过上述定义，S可以被估计通过下面的公式：
• 
• 在实践中，对于彩色图像，梯度幅度| ∂Sp| 是rgb中梯度幅度的定义。这个条目限制图片结构相似性。

Solver

• 我们采用一种特殊的基于半二次分裂的交替优化策略，通过引入辅助变量扩展原始项并迭代更新的思想。
• 值得注意的是，原始的L0范数正则化优化问题被称为计算上难以处理的问题。
• 我们引进了辅助变量和，相对于和相互独立。重写目标函数为：
• 
• 这里和是一个自适应参数去控制变量和它们相应的梯度的相似性。

Computing S

• S估计子问题对应于最小化:
• 
• 该函数是二次函数，因此即使梯度法也具有全局最小值。我们在快速傅里叶变换（FFT）之后对衍生算子进行对角化以加速。这个场的解决方案：
• 
• 在这里是FFT算子和表示复数共轭。是delta函数的傅里叶变换，由于简单的分量分割，傅立叶域中的计算更快。

Computing (h,v)

• 对于（h，v）的目标函数是
• 
• 在这里返回在中非0元素的个数。上述公式可以分解为下式：
• 
• 
• 在这里是一个二进制函数，它将返回1，如果|Hp| + |Vp| != 0。否则为0.在像素P处的每个单一条目的公式为
• 
• 上述公式在下述条件下获得最小值：
• 
• 在本文的算法中是自适应的在迭代过程中，其起始值为，它每次乘以。和有固定值为和

More Analysis 

• 
• 

Application

Edge Enhancement and Extraction

• 由于边缘检测器对复杂结构和不可避免的噪声的高敏感性，连续，准确和高质量结果通常非常难以生产。 我们的方法能够抑制低振幅细节，显着稳定提取过程。

• 我们的方法可以通过全局优化去除统计上不重要的细节

 Image Abstraction and Pencil Sketching

• 我们的平滑图像表示具有非真实感抽象，同时具有强烈的边缘增强。

• 粗略的线条具有恒定的长度，灰度级别与边缘幅度成比例。 这种简单的方法增强了重要的边缘，使结构在视觉上令人愉悦。

​​​​​​​Edge Adjustment

• 
• 
• 

Discussion and Limitations

• 我们已经提出了一种基于离散计数空间变化机制的原则性和强大的平滑方法，它可以去除低振幅结构并全局保留和增强显着边缘，即使它们是非常窄的物体的边界。

• 由于我们的系统不使用空间滤波或平均，因此可以将其视为对先前本地方法的补充。 有趣的是，当与局部滤波相结合时，我们的方法可以产生新的效果。