基于区域协方差的结构保持图像平滑

基于区域协方差的结构保持图像平滑

原文：https://dl.acm.org/citation.cfm?id=2508403

摘要
近年来见证了新的图像平滑技术的出现，这些技术提供了新的见解并提出了关于这个研究得很好的问题的本质的新问题。具体而言，这些模型通过利用边缘的非梯度定义或区分边缘与振荡的特殊度量将给定图像分离为其结构和纹理层。在这项研究中，我们提出了另一种简单的图像平滑方法，它取决于简单图像特征的协方差矩阵，即区域协方差。使用二阶统计量作为补丁描述符允许我们隐式地捕获局部结构和纹理信息，并使我们的方法对于从纹理的结构提取特别有效。我们的实验结果表明，与最先进的方法相比，所提出的方法导致更好的时间分解，并且保留了突出的边缘和阴影。此外，我们还展示了我们的方法在某些图像编辑和操作任务中的适用性，例如图像抽象，纹理和细节增强，图像合成，逆半色调和缝合雕刻。

关键字：图像平滑，结构提取，纹理消除，区域协方差

1 介绍
    自然图像提供有关我们生活世界的丰富视觉信息，并且通常包含以有意义的配置组织的各种对象。例如，考虑图1中给出的图像，其显示了由岩石表面上的高度纹理化的图形组成的历史站点。虽然我们的视觉系统非常成功地提取图像下方的突出结构而不会被纹理分散，使机器能够执行相同的任务，即将图像分解成其结构和纹理组件，这提出了巨大的挑战。
    从计算的观点来看，图像分解可以表示为估计问题，其中给定图像被分成分别对应于粗略和精细图像细节的两个分量。从历史上看，高斯滤波器是最古老的，也是最常用的平滑算子[Witkin 1984; Burt and Adelson 1983]。它提供了图像的线性刻度空间表示，其中输入图像在所有方向上以恒定速率平滑。非线性尺度空间算子通过创建图像的尺度空间表示来扩展线性算子，该图像由逐渐简化的图像组成，其中保留了诸如边缘的一些图像特征[Perona和Malik 1990;鲁丁等人。 1992; Tomasi和Manduchi 1998; Durand和Dorsey 2002; Buades等。 2005; Farbman等。 2008;徐等人。 2011]。这些运算符中的每一个都以不同的方式在平滑处理中集成先验边缘信息，目的是提取或删除某些图像细节。
    边缘保持平滑方法，即各向异性扩散滤波器[Perona和Malik 1990]，总变差模型[Rudin等。 1992年]，双边过滤器[Tomasi和Manduchi 1998; Durand和Dorsey 2002]，NL-means过滤器[Buades et al。 2005]，WLS fil ter [Farbman et al。 2008]，L0平滑[Xu et al。 2011]通常采用亮度值或梯度幅度的差异作为图像像素处的边缘指示符的主要提示，并利用该信息来指导平滑处理。然而，这些基于对比度的局部对边缘的定义可能无法捕获与精细图像细节或纹理相关的高频分量。因此，这些方法不能将纹理区域与主结构完全分离，因为它们将它们视为在计算期间要保留的结构的一部分。
    在本文中，我们提出了一种新颖的结构保持图像平滑方法，它共同消除纹理。在文献中，只有少数研究解决了从纹理中提取结构的挑战性问题[Meyer 2001; Subr等。 2009年; Farbman等。 2010; Buades等。 2010;徐等人。 2012]。与之前的模型相比，我们的方法执行基于补丁的分析，这取决于二阶特征统计。具体来说，我们考虑区域协方差矩阵[Tuzel et al。在简单的图像特征中，例如强度，颜色和方向，以估计简单自适应滤波框架内的两个图像块之间的相似性。如图1所示，所提出的模型可以有效地消除纹理而不会扭曲结构。从纹理中提取结构大大提高了许多图像编辑工具的结果。在整篇论文中，我们还将展示几种图像编辑和操作应用，包括图像抽象，纹理和细节增强，图像合成，逆半色调和缝合雕刻。

图1：我们的方法利用区域协方差将图像分解为粗糙和精细分量。粗糙分量对应于图像下方的突出结构，而精细分量仅包括纹理。我们的平滑方法成功捕获了人物纹理和岩石纹理，同时保留了提取结构中的边缘（源图像c reibai）。

2 背景
2.1 前期工作
    在文献中，传统的结构保持图像分解策略是执行联合图像平滑和边缘检测[Perona和Malik 1990;鲁丁等人。 1992; Tomasi和Manduchi 1998; Farbman等。 2008;徐等人。 2011]。这些统一的方式通过平滑图像，同时保留甚至增强图像边缘，简单地将给定图像分解为结构和细节，并且它们在如何定义边缘以及该先验信息如何指导平滑方面彼此不同。
    各向异性扩散模型[Perona和Malik 1990]采用基于PDE的公式，其中从图像梯度估计像素方式的空间变化的差异。这些扩散性可防止图像边缘平滑，并保留重要的图像结构，同时消除噪声和细节。
    双边过滤[Tomasi和Manduchi 1998; Durand和Dorsey 2002]是另一种广泛使用的模型，用于消除图像中的噪声，同时进行细节平整和边缘保护。由于其简单性和有效性，双边过滤已成功应用于几种计算摄影应用[Fattal等。 2007; Winnemoller等。 2006年]。
    然而，正如Farbman等人所指出的那样。 [2008]，通过双边滤波的多尺度图像分解由于正在进行的粗化处理而具有一些光晕伪像。加权最小二乘滤波（WLS）[Farbman et al。通过强制除了大梯度值外的滤波图片平滑的方式来控制平滑级别克服了伪影问题。
    在最近的一项工作中，徐等人。 [2011]引入了一种使用稀疏梯度测量的鲁棒滤波方法。优化框架将具有非零梯度幅度的图像像素的数量视为可以与L0范数相关联的正则化约束。因此，所提出的滤波器以小的梯度幅度去除图像细节，同时保留甚至增强图像中最显着的边缘。
    上述研究都取决于梯度幅度或亮度差异。因此，正在进行的平滑处理通常不能将精细图像细节或纹理与主图像结构区分开，因此导致不令人满意的图像分解。一些研究试图通过使用基于测地线的更好的相似性度量来改善这种分离[Cri minisi et al。 2010]或扩散[Farbman et al。 2010]距离代替传统的欧几里德距离用于颜色或强度比较。
    另一种边缘保持正则化框架是总变分（TV）模型[Rudin等。 1992]，它使用基于L1范数的正则化约束来惩罚大的梯度量值。在其原始配方中，该模型为结构与纹理提供了相当好的分离。一些研究扩展了标准化电视制定的正则化和数据保真度术语的不同规范，并证明更强大的规范可以改善图像分解[Aujol et al。 2006; Meyer 2001]。在[Buades等人。 2010年，作者提出了一种相对简单的技术，通过使用非线性低通高通滤波器对将图像分解为结构和振荡纹理分量。它用于计算像素周围图像的局部总变化，然后执行分解。最近，徐等人。 [2012]提出了另一种具有相对总变差测量的稳健方法，并表明通过空间变化的总变差测量可以实现更好的分离。
    Subr等人已经提出了用于多尺度图像分解的替代模型。 [2009]，其特别旨在消除通常对应于纹理的图像的振荡分量并提取包含显着结构的层。建议的框架通过极值分析进行这种分离，其中首先从局部最小值和最大值的外推估计出最小和最大极值包络，然后通过极值包络的平均年龄来计算平滑结果。由于该框架在其计算中考虑了纹理的振荡行为，因此与大多数边缘保留图像分解模型相比，它提供了更好的结果。然而，实际上，当对包含纹理和有意义结构的图像区域进行分析时，这种平均思想可能会失败。
    总之，大多数现有的图像分解模型旨在从具有边缘保留能力的噪声中提取结构。然而，其中只有少数具有从纹理中提取结构的特定目标。我们在本文中提出的公式与这些相关工作的不同之处在于它基于基于补丁的框架并且采用基于区域协方差描述符的相似性度量。在第4节中，我们提供了这些方法的结果比较和讨论。
2.2 区域协方差
    通过从其中的像素提取的特征的协方差表示图像区域，称为区域协方差描述符，首先在[Tuzel等人提出。 2006年]。在数学术语中，设F表示从图像I中提取的特征图像：

    其中φ定义了一个映射函数，它从每个像素i∈I中提取d维特征向量（例如由强度，颜色，方向，像素坐标等构成）。然后，可以表示特征图像F内的区域R使用d×d协方差矩阵CR来表示特征点：

    zk = 1 … n表示R内的d维特征向量，μ表示这些特征向量的平均值。
    协方差矩阵提供了一种紧凑而自然的方式来融合不同的视觉特征，其对角元素表示特征方差，其非对角元素表示特征之间的相关性。此外，它在区分局部图像结构方面提供了极大的判别力。如图2所示，具有相似纹理和局部结构的区域由相似的协方差矩阵描述。在这项研究中，我们使用区域协方差描述符来测量两个像素之间相对于局部图像几何的相似性。

图二：公众可获得的芭芭拉图像的不同区域的区域协方差描述符。具有相似视觉特性的区域由类似的协方差描述符表示。在该示例中，协方差表示基于非常简单的图像特征，即强度，方向和像素坐标（等式6）。
    尽管具有这些优点，但是将两个图像区域与其协方差描述符进行比较往往在计算耗时，因为协方差矩阵不存在于欧式空间上，而是存在于黎曼流形上，并且需要非平凡的相似性度量[ Tuzel等人。 2006; Cherian et al.2011]。 Hong等人提出了一个有趣的问题。 [2009]作者利用每个协方差矩阵（对称正半确定矩阵）具有唯一的Cholesky分解并将其用于将协方差矩阵变换为欧几里德向量空间的属性。
    更正式地，令C为d×d协方差矩阵，一组唯一的点S = {si}，称为Sigma点，可以计算如下：

    其中Li是下三角矩阵L的第i列，其中Cholesky分解C = LLT，α是标量1。在这里，重要的是要注意L的列具有与原始协方差矩阵C相同的二阶统计量[Hong et al。 2009年]。

3 方法
    许多自然纹理位于规则和随机纹理的两个极端之间，因为它们包含规则的周期性结构以及附加的不规则随机分量。在这里，我们采用纹理的一般定义作为任何具有独特外观和局部统计的视觉模式[Efros and Leung 1999]。在这方面，区域协方差描述符[Tuzel et al。由于协方差矩阵通过特征之间的二阶统计关系有效地编码局部几何，因此是表示纹理信息的完美候选者。但是，应该注意的是，这个描述符有一个小缺点，即它不能解释平均值的差异。因此，在本文中，我们研究了两种不同的模型，它们结合了一阶和二阶统计量，提出了一个简单而有效的过滤框架，用于从不同类型的纹理中提取结构。
    我们的目标是将给定的图像I分解为其结构（S）和纹理（T）部分，即：

    在这项研究中，我们遵循基于补丁的方法，非常类似于NL-Means [Buades等人。 [] 2005]方法，并将像素p的结构分量计算为：

    其中N（p，r）表示以p和大小（2r + 1）×（2r + 1）像素为中心的平方邻域，并且wpq是像素p和q基于在这些像素中心的k×k补丁之间的相似性测量的权重，Zp = Pq wpq是归一化因子。
    我们的自适应过滤框架的关键在于我们如何定义wpq。与基于斑块之间的高斯加权欧氏距离计算wpq的NL-Means方法相比，这里我们提出了两种基于区域协方差的替代方案[Tuzel等人。 2006]描述符，它利用一阶和二阶统计来编码局部结构以及纹理信息。
    提出的框架非常普遍不依赖于特殊的特征。在我们的实现中，我们使用简单的视觉特性，即强度，方向和像素坐标，以便用7维特征向量表示图像像素：

    其中I表示像素的强度，2、3、4、5项分别是x和y方向强度的一阶和二阶导数，通过滤波器[-1 0 1]和[-1 2 -1]估算，和（x， y）表示像素位置。因此，图像块的协方差描述符被计算为7×7矩阵。将（x，y）包括在特征集中很重要，因为它允许我们用空间坐标编码其他特征的相关性。如果需要，可以扩展特征集以包括其他特征，例如衍生物的旋转不变形式。
    在实验中，我们通过使用强度信息计算补丁相似性权重wpq并且在相应的RGB矢量上取加权平均而不是等式5中的强度值来处理彩色图像。我们凭经验发现将RGB分量包括在特征集中不会改变结果，但会增加运行时间。

模型一
    使用由方程（3）定义的集合S，可以通过简单地连接S的元素来获得协方差矩阵的矢量表示。此外，通过包括特征μ的平均向量，可以容易地将一阶统计量结合到该表示方案中。由Ψ（C）表示的这个丰富的特征向量定义为：

    然后，我们简单地将方程（5）中的权重wpq定义为：

    Cp和Cq分别表示从以像素p和q为中心的片段中提取的协方差描述符。

模型二
    作为测量两个图片像素相对于一阶和二阶特征统计的相似性的另一种方法，我们提出了一个距离测度，可以看作是两个正态分布之间的马哈拉诺比斯距离的近似。更具体地，对于两个图像像素p和q，相应的距离测量定义为：

    有C = Cp + Cq，μp和μq以及Cp，Cq表示从以像素p和q为中心的图像块提取的特征的均值和协方差。
    基于该测量，等式中的计算的自适应权重可以替代地如下定义：

    算法1总结了我们的结构保持图像平滑算法的简单实现。我们的代码在项目网站上公开。

    图3显示了使用我们的平滑模型（模型1和模型2）获得的样本结构 - 纹理分解。输入图像包含具有不同特征的各种纹理区域，例如铺在桌子上的布料，裤子和女孩的围巾。可以看出，两个提出的模型成功地将纹理与结构分离，模型2略微优于模型1.有趣的是，方程8和10中定义的相似性度量非常有效，它们可以从纹理中区分局部结构，不使用显式边或纹理定义。此外，正如我们将在第4节中分析的那样，我们的方法的一个关键差异是我们的两个平滑模型也保留阴影信息。

图3：顶行：模型1，底行：模型2.桌布，裤子和围巾的纹理以精确的方式提取。在平滑过程中，模型2保留图像边缘略微优于模型1，同时消除纹理。

参数的影响
    我们的两个模型都有两个主要参数，k和σ。空间参数σ控制平滑的级别，因为它隐含地确定了邻域窗口的大小。对于小的σ值，我们有限的平滑，而增加σ的值会导致模糊。另一方面，参数k控制从中计算特征统计的块的大小，并因此控制要捕获的局部结构信息。因此，应该通过考虑纹理元素的比例来设置其值。在这方面，结构纹理分离比空间参数σ更重要。如图4所示，利用适当的k值，可以准确地将马赛克图像的结构分量与纹理分离。过打增加块大小可能会导致从块中提取不准确的信息，因为它可能会混合纹理和有意义的结构，从而导致结构被视为精细细节。在所有实验中，我们根据经验将邻域大小设置为21×21像素（有关改变邻域窗口大小的影响的分析，请参阅补充材料）。

多尺度分解
    在平滑给定图像I的同时，我们的方法将其分离为结构组件S和纹理组件T.我们迭代地使用该过程来获得输入图像的多尺度分解，其中每个层捕获不同的精细细节。我们通过在每次迭代时增加块k大小（通过增加分析的规模）并通过在迭代时使用提取的结构分量作为后续迭代中的平滑过程的输入来平滑输入图像：在n次迭代之后，这会产生分解：

    这里，T1，T2 ,. 。 .Tn表示在粗糙度增加的情况下提取的纹理成分，而Sn是最粗糙的结构成分。图5显示了通过所提出的模型1获得的两幅梵高绘画的多尺度表示（参见模型2结果的补充材料）。通过积极地平滑图像，从每层的原始绘画中平滑出一些精细的细节。最粗糙的图层表示不包含任何笔触，我们获得原始绘画的更平滑版本。

图5：通过增加k的值并逐渐平滑图像，我们提取原始绘画的较粗糙的表示。每个平滑操作使得从图像中去除不同的精细细节，并且最终级别平滑完全消除了存在于画面中的画笔笔划（源图像 ©维基共享资源）。

噪声的影响
    在图6中，我们呈现了样本图像及其噪声对应物的平滑结果。可以看出，我们的两个模型都成功地在噪声下提取了结构。干净的结构和清晰的噪声图像在视觉上非常相似。这种现象可归功于公式8和10中基于块的相似性度量对噪声具有鲁棒性。

图6：所提出的模型在净图像及其噪声对应物上产生的平滑结果。我们的两个模型都能在存在噪声的情况下有效地恢复结构信息。

计算成本
    在计算上，我们方法中最耗时的部分是自适应权重的估计，其涉及提取区域协方差描述符并计算它们之间的距离。我们注意到，任意矩形区域的特征协方差矩阵可以在O（d^2）时间内通过利用求和面积表有效地计算，也称为积分图像[Tuzelet al。 2006年]。
    我们当前的Matlab实现没有经过大量优化，并且在具有8 GB RAM的3.40 GHz Intel Core i7-2600处理器上执行。使用我们的模型1和模型2，313x296彩色图像的单个尺度分解分别需要72和101秒。仅仅因为方程9中的矩阵求逆运算，模型2的计算成本略高于模型1的计算成本。我们相信通过并行GPU实现或通过以下方式可以大大提高模型的运行时间性能。使用一些巧妙的采样和/或散列策略[Baek and Jacobs 2010; Dowson和Salvado 2011]。

4 对照
    在我们的实验中，我们将我们的方法与一些最先进的边缘保持平滑方法进行了比较[Rudin et al。 1992年; Tomasi和Manduchi 1998年; Farbman等。 2008; Subr等。 2009; Buades等。 2010;徐等人。 2011;徐等人。 2012]。模型的评价是基于良好的方法应该仅平滑细节和纹理并保持结构，并且提取的纹理或所谓的细节分量应该没有关于结构的任何信息来定性地进行。
    在图7中，我们提供了图2中引入的Barbara图像的平滑结果，以及包含不同纹理的图像区域的相应细节部分。对于所有测试方法，我们对其参数进行了微调。正如预期的那样，特别适合于纹理平滑的模型，即[Subr et al。 2009年; Buades等。 2010; Xu et al.2012]，给出了令人满意的工厂成果。然而，与我们的方法相比，[Subr等人的方法]。 2009年;徐等人。在平滑期间，似乎会降低主要结构，因为一些结构在细节组件中清晰可见。 [Buades等人的模型]。 2010]相对较好地捕捉细节和纹理组件，但其结构组件仍包括一些纹理（特别是在桌布和草椅上）。至于我们的模型，模型2比模型1产生更好的结构 - 纹理分解。从图8中给出的特写视图可以看出，我们的两个模型都保留阴影，非常好地捕获纹理边界，并且不会受到桌布上任何阶梯状边缘的影响。此外，大多数其他模型在其纹理/细节层中产生一些伪彩。该层中的渗色表明相应的平滑方法不能很好地保持结构并且不断地使颜色信息恶化。图9中提供了马赛克图像的另一种比较。

图9：吉普赛女孩马赛克图像的平滑效果。

5 应用
    许多图像编辑和操作任务可以从纹理中提取良好的结构提取中受益。在下文中，我们将展示这些应用程序，这些应用程序将突出我们方法的有效性。

5.1 图像抽象
    虽然纹理丰富了我们的视觉世界并使物体更加丰富和逼真，但它们通常被认为是图像中不可绘制的部分[Marr 1982]。因此，消除纹理而不降低分级结构可能有助于简化图像并提供非逼真的外观。在图10中，我们提出了一些图像抽象结果，这些结果是由[Winnemoller等人提出的图像抽象方案获得的。我们用我们的结构保持平滑方法替换了双向滤波。在这些例子中，与模型2相比，使用模型1导致更像卡通的结果。

图10：图像抽象结果。我们的模型有效地从结构中去除纹理，并且提取的结构可用于获得场景的非真实感渲染。

5.2 纹理和细节增强
    我们可以通过考虑不同尺度的结构和纹理将图像分解成多个层。这种分解使我们能够增强和增强其纹理和精细细节或粗细节，如图11所示。输入图像包含一个活雕像，我们增强或减少了面部皮肤和皱褶衣服的细节。对于我们所有的模型，提升精细特性有效地增强了图像中的细节，而不会模糊边缘，因为它们成功地从图像中捕获低频结构组件。因此，新图像具有高对比度和细节纹理，因此纹理增强使得输入图像对于使用我们的平滑方法获得的不同比例纹理更具吸引力。类似地，当我们增强粗糙特征时，相应地消除纹理和精细细节，并且仅在所得图像中保持可见的突出结构。

图11：纹理和细节增强结果（左：模型1，右：模型2，来自柯达PhotoCD，照片采样器的Stephen Wolf的输入图像）。

5.3 图像分解
    绘画，马赛克，纺织品的图像包含不同类型的文字。将这样的图像直接组合成另一个图像可能给出视觉上不可信的结果，因为纹理信息与结构信息一起被传送。我们的结构 - 纹理组合方法可以通过在输入图像之一的结构层上执行图像合成来帮助获得视觉上更合理的结果。在图12中，我们提出了这样一个例子，其中一个输入是纸张图像而另一个输入是针织图案。从图中可以看出，当通过考虑图案图像的结构层（模型1结果）来执行合成时，由于遗漏了纹理层中的细节，因此合成图像具有更自然的外观。

图12：图像合成结果。顶行：输入图像及其提取的结构组件。底行：使用原始图像和结构图像获得的组合图像（源图像c Sew Technicolor，目标图像 © designshard）。

5.4 反半色调
    我们在扫描的彩色漫画上执行了我们的图像平滑模型，以再现半色调的连续色调。图13给出了一些结果，我们将结果与最近提出的漫画的反半色调方法进行了比较[Kopf和Lischinski 2012]。我们的重建很少有人工制品，细节大部分保存完好。此外，我们还展示了使用冲击滤波器对平滑结果进行后处理所获得的结果[Gilboa et al。 2002]增强边缘。尽管我们的方法没有像[Kopf和Lischinski 2012]那样明确地检测点图案和黑色墨水，但它提供了视觉上可信的结果。

图13：反半色调结果。来自钢铁侠的作物（输入图像c漫威漫画）

5.5 缝雕刻
    [Avidan and Shamir 2007]中介绍的Seam Carving方法通过考虑其内容来调整给定图像的大小。相关的调整大小过程使用基于梯度的能量函数，该函数针对每个像素进行计算。然而，自然场景不仅在图像边缘而且在纹理图像区域上具有高梯度值。因此，接缝雕刻方法可能提供不令人满意的工厂结果，因为它保留了包含诸如波浪，岩石，石头等细节的纹理区域。草等，即使它们是背景的一部分，也不如前景物体突出。
    图14显示了RetargetMe数据集[Ru宾斯坦等人。 2010]。在这张海滩照片中存在的海浪和岩石具有高梯度值，因此使得Seam Carving几乎完全保留这些区域在调整大小的输出图像中。另一方面，如果我们估计的是原始图像上的能量函数，而不是我们的模型1提取的结构成分，那么得到的调整大小的图像在视觉上变得更加愉悦。在这种情况下，该方法不再保留纹理部分，更多地从它们中选择接缝，并因此使视觉上重要的结构保留在最终结果中。

图14：Seam Carving结果。左栏：原始模型。右栏：由我们的结构 - 纹理分解方法修改的模型。行从上到下：由Eric Chan从RetargetMe数据集输入图像，消除接缝和调整大小的输出图像。

6 讨论
    我们提出了使用区域协方差来保持图像平滑的结构的想法。我们的方法采用一阶和二阶特征统计来获得局部图像块的隐式嵌入，这允许我们在单个表示内描述和区分局部结构和纹理。我们已经证明，使用这样的统计测量提供了比先前工作更好的结构/纹理分离，并且改善了许多图像编辑和操纵应用的结果。
    我们的方法的一个缺点是，当在外观和比例方面附近存在统计上相似的结构时，它有时可能将一些图像结构误解为纹理。图15示出了由于字符的重复性而使符号中的文本平滑的示例。我们认为采用更复杂的功能可能有助于缓解这一问题。

图15：失败示例。我们的方法错误地将符号中的文本解释为纹理，因为角色在外观和重复行为方面具有相似的特征。
    需要进一步调查的一个重要问题是扩展多尺度分析的方法。我们当前的扩展以迭代方式运行，通过增加补丁大小来平滑输入图像，并在实践中给出了良好的结果。未来工作的一个有趣方向是利用区域协方差描述符的全部潜力，其大小完全取决于关于功能的数量而不是该地区的大小。这开启了统一的多尺度公式的可能性，其中在不同尺度上同时进行平滑，如[Zontak等人。 2013。这可以带来进一步的改进。