基于梯度约束的去反射方法

基于梯度约束的反射去除

1. 引言

基于单幅图像的去反射方法通常基于一个简单的观测模型，该模型可表述为
u = t + s, (1)
其中 u ∈ R³ᴺ 为观测到的图像，N 为像素数量。t ∈ R³ᴺ 为场景的背景分量，s ∈ R³ᴺ 为场景的反射分量。去反射的目标是从单幅观测图像 u 中恢复出背景分量 t。然而，这一任务具有挑战性，因为我们需从一个给定方程中求解两个未知量。

许多方法已被研究用于解决分解问题 [1,2]。一种反射边缘检测方法 [1] 对解决该问题很有帮助。然而，该方法需要求解背景重建问题，而该问题具有数值不稳定性，且常常导致结果图像中出现不必要的颜色偏移。一种基于背景分量和反射分量不同梯度特性的直接去反射方法 [2] 优于用户辅助的去反射方法 [1]。然而，这些方法常常由于改变了亮度和颜色的全局对比度而产生不自然的结果。此外，所得图像常出现伪锐利边缘。本文提出一种基于优化问题的去反射方法，旨在从单幅观测图像中重建出无此类伪影的背景分量。

2. 提出的方法

2.1. 优化问题

所提出方法用于去除反射的优化问题定义为

$$
\min_t \alpha|Dt| {1,2} + \beta |L(u - t)|_2^2 + \frac{1}{2}|u - t|_2^2
$$
s.t. $ 0 \leq t_i \leq u_i \quad \forall i $,
$ 0 \leq (Dt)_j \leq g {u,j} \quad \text{for } j \in \Omega_+ $,
$ g_{u,j} \leq (Dt) j \leq 0 \quad \text{for } j \in \Omega - $, (2)

其中 α 和 β 是用于平衡三项的参数，L ∈ R³ᴺ׳ᴺ 是针对彩色图像的拉普拉斯滤波矩阵。矩阵 D := diag(D′,D′,D′) ∈ R⁶ᴺ׳ᴺ 是一个块对角矩阵，而 D′ := [Dₕᵀ Dᵥᵀ]ᵀ ∈ R²ᴺ×ᴺ 是一个微分算子，由具有诺伊曼边界条件的一阶垂直/水平微分算子 Dₕ、Dᵥ ∈ Rᴺ×ᴺ 组成。第一项和第二项分别用于惩罚背景分量和反射分量（s := u − t 由 (1) 式推导得出）的梯度。众所周知， 1,2 ‐范数能够促进组稀疏性，许多研究人员已将其用于表示自然图像中局部平滑性的特征 [3]。在本例中，它被用于表示背景分量的局部平滑性，并定义为

$$
|Dt| {1,2} := \sum {n=1}^{N} \sqrt{\sum_{m=0}^{5} (Dt)^2_{n+mN}}.
$$

因此，第一项促进了具有分段恒定颜色的背景分量。我们假设反射分量由于失焦而变得模糊，并引入基于 2 ‐拉普拉斯惩罚的第二项，以促进整个区域中具有平滑颜色的反射分量。式 (2) 中的第三项是数据保真项，我们使用 2 ‐范数，这是最常见的数据保真项。

(2) 中的第一个约束强制背景分量 t 的每个像素值位于 [0, uᵢ] 范围内，其中 i = 1, 2, …, 3N。由于梯度惩罚方法通常会产生伪边缘伪影 [2,4]，我们在第二和第三个约束中引入梯度约束以抑制此类伪影。第二个约束强制背景分量在观测图像正梯度对应的像素位置上的每个梯度值位于 [0, gᵤ,ⱼ] 范围内，其中 j ∈ Ω₊，gᵤ,ⱼ 是 j‐th 元素 gᵤ := Du ∈ R⁶ᴺ，且 Ω₊ 是对应于观测图像正梯度的像素索引集。类似地，第三个约束针对对应于观测图像负梯度像素位置的梯度进行定义，其中 Ω₋ 是对应于观测图像负梯度的像素索引集。

2.2. 重新表述与优化

通过令 C、G₊ 和 G₋ 为定义的凸集

C := {x ∈ R³ᴺ | xᵢ ∈ [0, 1], i = 1, 2, …, 3N},
G₊ := {x ∈ Rᴹ⁺ | 0 ≤ xⱼ ≤ gᵤ,ⱼ, j ∈ Ω₊},
G₋ := {x ∈ Rᴹ⁻ | gᵤ,ⱼ ≤ xⱼ ≤ 0, j ∈ Ω₋},

其中 M₊ 和 M₋ 是观测图像的正梯度和负梯度的数量，并使用这些示性函数¹

¹ 对于任意闭凸集 S，指示函数定义为 ιₛ(x) := 0，如果 x ∈ S；∞，否则。

场景 1
场景 2
场景 3

场景 1
场景 2
场景 3

3. 实验

为了展示我们方法的有效性，我们将其应用于若干包含反射的真实图像。该方法与传统的单幅图像去反射方法进行了比较 [2]。
图1 显示了输入图像²。去反射的结果如图2所示。我们的方法能够在大多数场景中去除反射成分。尽管传统方法几乎去除了所有反射成分，但其亮度和颜色的全局对比度发生了变化，导致图像显得不自然。相比之下，我们的方法在去除反射成分的同时，保留了全局对比度和锐利边缘。

4. 结论

我们提出了一种基于稀疏/非稀疏梯度正则化并结合梯度约束的去反射方法。通过实验，我们证实了该方法能够在去除反射分量的同时保留背景分量的细节。