《Detection of Raindrop with Various Shapes on a Windshield》
1 介绍
2 雨滴检测方法
在白天和夜晚使用不同的算法。通过整幅图像的强度水平判断是白天还是夜晚。
2.1 白天的雨滴检测方法
这个方法假设在白天雨滴有以下性质:
- 当背景的纹理是强的,雨滴比周围要模糊。如图2中红色矩形框。
- 当背景的纹理是弱的,雨滴比周围有更强的纹理。
步骤:
- 一幅图像分为强纹理区域和弱纹理区域。
- 通过两个模型图像提取到的边缘强度的比率,用来计算模糊度。
- 通过边缘比率的变化来计算雨滴候选区域。
- 通过挡风玻璃上雨滴变化不会很快的特点,来移除错误的雨滴候选区域。
2.1.1 纹理分析
- 图像被分为网格 B(u,v)。基于边缘强度的纹理分析在每个格子里进行。在实验中,图像尺寸是 640x360,每个块尺寸是 10x10。
- 用sobel来进行边缘检测,边缘强度值 E(u,v) 在每个格子中计算。
(1) 如果 E(u,v) 大于 T E T_E TE,此块被认为是纹理区域;
(2) 否则被认为是非纹理区域。
T E T_E TE的选取原则:路面要被包含在非纹理区域中。
2.1.2 雨滴候选区域检测
-
为了不依赖背景的纹理来测试模糊度,计算从两种平滑图像中提取的边缘强度。用高斯滤波来进行图像平滑。用 I s 1 I_{s1} Is1 来表示 用方差 σ 1 \sigma_1 σ1 来进行高斯平滑的图像,用 I s 2 I_{s2} Is2 来表示 用方差 σ 2 \sigma_2 σ2 来进行高斯平滑的图像。
-
边缘强度图像 I e 1 I_{e1} Ie1 和 I e 2 I_{e2} Ie2 用 sobel 算子来得到。
(1) 纹理清晰的区域,边缘强度变化大;
(2) 纹理模糊的区域,边缘强度变化小。 -
模糊度计算公式:
D b ( i , j ) = I e 1 ( i , j ) I e 2 ( i , j ) D_b(i,j) = \frac {I_{e1}(i,j)} {I_{e2}(i,j)} Db(i,j)=Ie2(i,j)Ie1(i,j)
模糊严重的区域上值小。
在背景是强纹理区域时,雨滴的模糊度
D
b
D_b
Db 比周围小;
在背景是均匀区域时,雨滴的模糊度比周围大。
- 雨滴区域判断
(1) 非纹理块中,有一个或多个像素满足以下条件:
D
b
(
i
,
j
)
−
D
b
(
k
,
l
)
>
T
n
D_b(i,j) - D_b(k,l) > T_n
Db(i,j)−Db(k,l)>Tn
(2) 纹理块中,有一个或多个像素满足以下条件:
D
b
(
k
,
l
)
−
D
b
(
i
,
j
)
>
T
t
D_b(k,l) - D_b(i,j) > T_t
Db(k,l)−Db(i,j)>Tt
T
n
=
0.78
,
T
t
=
2.1
T_n=0.78, T_t=2.1
Tn=0.78,Tt=2.1
个人理解:
(1)在弱纹理区域
某点像素模糊度比周边要大
(2)在强纹理区域
某点像素模糊度比周边要小
周围像素满足
∣
D
b
(
i
,
j
)
−
D
b
(
k
,
l
)
∣
<
T
c
(
T
c
=
0.1
)
| D_b(i,j) - D_b(k,l) | < T_c (T_c=0.1)
∣Db(i,j)−Db(k,l)∣<Tc(Tc=0.1)
的添加到雨滴候选区域。
fig5c 中展示了雨滴候选区域的最终结果。
2.1.3 雨滴判断
2.1.3.1
我们通过整合多帧的检测结果,背景的移动大,雨滴移动小,来移除假的候选区域。
(1)在
R
t
(
i
,
j
)
R_t(i,j)
Rt(i,j) 中雨滴候选区域设置为1。
(2)
S
R
(
i
,
j
)
SR(i,j)
SR(i,j) 代表
R
t
−
n
+
1
(
i
,
j
)
R_{t-n+1}(i,j)
Rt−n+1(i,j),
R
t
−
n
+
2
(
i
,
j
)
R_{t-n+2}(i,j)
Rt−n+2(i,j),
R
t
(
i
,
j
)
R_{t}(i,j)
Rt(i,j)。
T
r
T_r
Tr 设置为 2,
n
n
n 设置为3。
2.1.3.2
护栏、桥梁的栏杆、墙的边界会被错误检测。为了去除这种区域,用光流方向来验证雨滴候选区域。
在车道标记上检测到的运动等会聚在消失点。
另一方面,在雨滴上检测到的运动是不稳定的。
出于这样的原因,我们在雨滴候选区域上检测光流,在15帧兴趣像素为中心的block上计算方差。在实验中,block设为11x11。
fig6的a到c显示了光流,d(蓝圈)显示了雨滴区域光流方向的直方图,e(绿圈)展示了车道线的光流方向直方图。
背景中的光流方向与它周围相似,并且 在连续帧中变化不大。
雨滴上的光流有不同方向。
出于这个原因,当光流方向变化小时雨滴候选区域被去除。