项目地址:http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html
香港中文大学 贾佳亚团队
- 分析了振铃现象(ringing artifacts)产生的原因
- 改进了噪声模型,保证噪声分布在空间上是随机的,非结构化的
- 概率模型(probabilistic model)到能量最小化问题,基于MAP
- 图像先验分为:(全局)分段函数拟合图像梯度的对数密度(重尾分布),(局部)在观测图像对比度较低的区域对潜在(latent)图像施加平滑度约束
- 模糊核先验:指数分布,在能量中对应为一范数(取了负对数negative logarithm)
- 优化过程介绍很详细,包括一些优化细节
在假设模糊核具有平移不变性(shift-invariant),去模糊问题褪变成图像去卷积问题。该问题是不适定的,且由于自然图像结构的复杂性和模糊核形状的多样性,使得设置的概率先验容易过拟合或欠拟合。
The complexity of natural image structures and diversity of blur kernel shapes make it easy to over- or under-fit probabilistic priors.
振铃效应一般出现在图像的强边缘附近
文章分析了振铃效应不是吉伯斯现象(Gibbs phenomenon)造成的,而是图像噪声或者模糊核偏差的原因:
I
=
(
L
′
+
Δ
L
)
⊗
(
f
′
+
Δ
f
)
+
n
=
L
′
⊗
f
′
+
Δ
L
⊗
f
′
+
L
′
⊗
Δ
f
+
Δ
L
⊗
Δ
f
+
n
\begin{aligned} \bf I&=\bf(L'+\Delta L)\otimes(f'+\Delta f)+n \\ &=\bf L'\otimes f'+\Delta L\otimes f'+L'\otimes \Delta f+\Delta L\otimes \Delta f + n \end{aligned}
I=(L′+ΔL)⊗(f′+Δf)+n=L′⊗f′+ΔL⊗f′+L′⊗Δf+ΔL⊗Δf+n
L
′
\bf L'
L′和
f
′
\bf f'
f′为当前估计值,
Δ
\bf \Delta
Δ表示误差。从公式后半部分可以看出,
如果噪声
n
\bf n
n没有被很好地建模,算法容易将误差
Δ
L
\bf \Delta L
ΔL和
Δ
f
\bf \Delta f
Δf误认为是噪声项的一部分,使得估计过程不稳定,难以解决。
之前的方法一般将
n
\bf n
n或者
∂
n
\partial \bf n
∂n建模成零均值高斯分布,文章认为该模型由于没有捕捉到图像噪声的一个重要特性,即图像噪声表现出的空间随机性。
文章通过对噪声的多阶导数进行约束来建模噪声的空间随机性。
In our formulation, we model the spatial randomness of noise by constraining several orders of its derivatives.
导数通过相邻像素之间的前向差来计算 ∂ x n ( x , y ) = n ( x + 1 , y ) − n ( x , y ) \partial_x n(x,y) = n(x + 1,y) - n(x, y) ∂xn(x,y)=n(x+1,y)−n(x,y)。
一般的,对噪声建模, ∏ i N ( n i ∣ 0 , ζ 0 ) \prod_i \mathbf{N}(n_i|0,\zeta_0) ∏iN(ni∣0,ζ0)
对噪声一阶导数建模: ∏ i N ( ∂ n i ∣ 0 , ζ 1 ) \prod_i \mathbf{N}(\partial n_i|0,\zeta_1) ∏iN(∂ni∣0,ζ1) 则: ζ 1 = 2 ζ 0 \zeta_1=\sqrt 2 \zeta_0 ζ1=2ζ0,
同理 q 阶导数 ζ q = 2 ζ q − 1 = 2 q ζ 0 \zeta_q=\sqrt 2 \zeta_{q-1}=\sqrt{2^q}\zeta_0 ζq=2ζq−1=2qζ0。
数据项定义为:
其中
Θ
=
{
∂
0
,
∂
x
,
∂
y
,
∂
x
x
,
∂
y
y
,
∂
x
y
}
\Theta=\{\partial^0,\partial_x,\partial_y,\partial_{xx},\partial_{yy},\partial_{xy}\}
Θ={∂0,∂x,∂y,∂xx,∂yy,∂xy},
n
=
L
⊗
f
−
I
\bf n=L\otimes f-I
n=L⊗f−I
模糊核先验: p ( f ) = ∏ j e − τ f j p(\mathbf f)=\prod_j e^{-\tau f_j} p(f)=∏je−τfj
潜在图像先验:
p
(
L
)
=
p
g
(
L
)
p
l
(
L
)
p(\mathbf L)=p_g(\mathbf L)p_l(\mathbf L)
p(L)=pg(L)pl(L)
Ω
\Omega
Ω为检测出的局部平滑区域,
Φ
(
x
)
\Phi(x)
Φ(x)为了近似图像梯度的重尾分布:
优化
能量最小化问题:
E
(
L
,
f
)
=
−
log
(
p
(
L
,
f
∣
I
)
)
E({\bf L,f)}=-\log(p({\bf L,f|I}))
E(L,f)=−log(p(L,f∣I))
采用变量替换和交替优化的方式求解。