项目地址:https://www.di.ens.fr/willow/research/deblurring/
作者:Oliver Whyte
- 非一致性模糊
- 针对相机转动提出新的模糊模型
- 将新模型代替卷积模型代入两种去模糊算法框架:Fergus et al. (2006,VB) and Cho and Lee (2009,MAP)
平移vs.转动
文章首先说明了相机转动比平移更容易造成图像模糊,因此本文只考虑了相机转动影响,忽略了相机平移。如下图:
当造成
δ
\delta
δ大小的模糊时(像平面上的像素偏移距离),相机需要平移的大小为:
X
=
δ
F
D
X=\frac \delta FD
X=FδD,需要转动的角度为:
θ
=
tan
−
1
δ
F
\theta=\tan^{-1}\frac \delta F
θ=tan−1Fδ, 代入实际数据时,当目标距离相机1米时,需要平移1cm,仅需要转动
0.6
°
0.6\degree
0.6°!所以模糊更有可能是由相机转动造成的。
转动还可以分为in-plane 与 out-of-plane。
in-plane 指围绕Z轴的旋转,相比out-of-plane,像素偏移路径在整个图像中变化更大。
新模型
其中
x
\mathbf x
x表示观测图像
g
g
g中的齐次坐标,
f
f
f为潜在图像,
ε
\varepsilon
ε表示观测噪声,T表示相机曝光时间,
H
t
\mathbf H_t
Ht为t时刻的单应矩阵。
单应矩阵
H
\mathbf H
H可以写成:
R
\mathbf R
R为相机旋转矩阵,
K
\mathbf K
K为标定矩阵(calibration matrix)。传送门:相机标定及内参外参
一般来说,模糊的图像没有相关的时间信息T,因此改为对角度的积分(相机不同时刻都会对应一个角度,每个角度也会对应一个单应矩阵):
w
(
θ
)
∈
R
N
x
×
N
y
×
N
z
w(\bm\theta)\in \mathbb R^{N_x\times N_y\times N_z}
w(θ)∈RNx×Ny×Nz是一个三维权重矩阵,
θ
=
(
θ
x
,
θ
y
,
θ
z
)
\bm\theta=(\theta_x,\theta_y,\theta_z)
θ=(θx,θy,θz)。即广义上的“模糊核”。
进一步地,将单应变换写成矩阵乘法:
展开后,
其中
C
\bm C
C是一个非常稀疏的矩阵,上式对于
w
\bf w
w和
f
\bf f
f都为线性(双线性),
因此可以直接代入一致性去模糊算法(卷积运算也是双线性的)。
需要注意的是,卷积运算可以通过傅里叶变换加速,而该模型中的双线性形式是不可以的。
接着文章介绍了两种框架:VB-based和MAP-based
VB-based
R. Fergus, B. Singh, A. Hertzmann, S. T. Roweis, and W. T. Freeman.
Removing camera shake from a single photograph. ACM Trans.
Graphics (Proc. SIGGRAPH 2006), 25(3):787–794, 2006.
MAP-based
S. Cho and S. Lee. Fast motion deblurring. ACM Trans. Graphics
(Proc. SIGGRAPH Asia 2009), 28(5):145:1–145:8, 2009.
能量函数如下:
文章发现原文中对于模糊核2范数先验效果并不好,所以改成了1范数:
非盲去模糊
文章采用了两种:
一种是使用了超拉普拉斯先验的;
D. Krishnan and R. Fergus. Fast image deconvolution using hyperlaplacian
priors. In NIPS, 2009.
另一种是RL算法,文章也简单介绍了,并发现对于包含饱和区域的图像 (由于过大像素值被裁剪,线性模型不再有效),RL算法结果更好。