内华达大学里诺分校
在嵌入式处理器设备上(飞行器)达到了毫秒级执行时间, 使用的激光雷达型号 : OUSTER OS1-64 (图像尺寸2048×10),OUSTER OS0-128(图像尺寸2048×10)
这种激光雷达可以提供的信息包括: 距离, 强度, 反射率(表面属性)以及环境的近红外成像(环境中红外源的图像)
本文融合了上述几种数据源,将激光雷达作为新型相机, 在其上进行语义分割,然后在最显著的目标上进行检测\分类\识别等, 因而降低了计算量。
本文方法
概述:
- 使用四种数据图像(距离, 强度, 反射率以及环境的近红外成像)作为独立的数据源
- 对每个数据,使用图像金字塔在不同尺度下及进行处理
- 将得到的四个输出合成一个, 得到显著性图。
A. LiDAR Imaging-based Saliency
本文中,作者将基于点云柱面图的显著性定义为 不与特定任务相关的的显著性,因而使以自下而上方式驱动的。
1. Feature Channels
首先计算点云图像:
[
I
L
I_L
IL,
R
L
R_L
RL,
A
L
A_L
AL,
D
L
D_L
DL]: intensity, reflectivity, ambient NIR 以及 depth (range) images
上述图像作为图像金字塔输入图像的各个通道。
2. Image Pyramids
对于每个通道(即
I
ℓ
,
R
ℓ
,
A
ℓ
,
D
ℓ
I_{\ell}, R_{\ell}, A_{\ell}, D_{\ell}
Iℓ,Rℓ,Aℓ,Dℓ),使用高斯平滑计算孪生金字塔特征图: center image:
C
ℓ
=
[
c
ℓ
,
0
,
…
,
c
ℓ
,
L
]
\mathbf{C}_{\ell}=\left[\mathbf{c}_{\ell, 0}, \ldots, \mathbf{c}_{\ell, L}\right]
Cℓ=[cℓ,0,…,cℓ,L] 以及 surround image:
S
ℓ
=
[
s
ℓ
,
0
,
…
,
s
ℓ
,
L
]
\mathbf{S}_{\ell}=\left[\mathbf{s}_{\ell, 0}, \ldots, \mathbf{s}_{\ell, L}\right]
Sℓ=[sℓ,0,…,sℓ,L]。
G
(
u
,
v
)
=
1
2
π
σ
x
2
e
−
u
2
+
v
2
2
σ
x
2
,
[
u
,
v
]
→
pixel coordinates
G(u, v)=\frac{1}{2 \pi \sigma_{x}^{2}} e^{-\frac{u^{2}+v^{2}}{2 \sigma_{x}^{2}}},[u, v] \rightarrow \text { pixel coordinates }
G(u,v)=2πσx21e−2σx2u2+v2,[u,v]→ pixel coordinates
$其中\sigma_x = \sqrt{\sigma_s^2 - \sigma_c^2}, \sigma_s是surround \ image \ s^i_k 的平滑因子,\sigma_c \ is\ the\ value\ to\ obtain\ the\ center\ image \ c^i_k $
这样就得到了每个特征通道的孪生金字塔图像:
[
C
ℓ
κ
,
S
ℓ
κ
]
,
κ
→
{
I
ℓ
,
R
G
ℓ
,
B
Y
ℓ
,
T
ℓ
}
\left[\mathbf{C}_{\ell}^{\kappa}, \mathbf{S}_{\ell}^{\kappa}\right], \kappa \rightarrow\left\{I_{\ell}, R G_{\ell}, B Y_{\ell}, T_{\ell}\right\}
[Cℓκ,Sℓκ],κ→{Iℓ,RGℓ,BYℓ,Tℓ}
然后对于孪生金字塔中的每层图像,计算两种相反的对比度:
X
ℓ
,
i
κ
=
c
ℓ
,
i
κ
−
s
ℓ
,
i
κ
(
on-off contrasts
)
Y
ℓ
,
i
κ
=
s
ℓ
,
i
κ
−
c
ℓ
,
i
κ
(
off-on contrasts
)
\begin{array}{ll} \mathbf{X}_{\ell, \mathbf{i}}^{\kappa}=\mathbf{c}_{\ell, \mathbf{i}}^{\kappa}-\mathbf{s}_{\ell, \mathbf{i}}^{\kappa} & (\text { on-off contrasts }) \\ \mathbf{Y}_{\ell, \mathbf{i}}^{\kappa}=\mathbf{s}_{\ell, \mathbf{i}}^{\kappa}-\mathbf{c}_{\ell, \mathbf{i}}^{\kappa} & (\text { off-on contrasts }) \end{array}
Xℓ,iκ=cℓ,iκ−sℓ,iκYℓ,iκ=sℓ,iκ−cℓ,iκ( on-off contrasts )( off-on contrasts )
然后通过将对比度图像跨尺度连接得到特征图:
F
ℓ
,
on-off
κ
=
⊕
i
X
ℓ
,
i
κ
,
i
∈
{
1
,
…
,
L
}
F
ℓ
,
off-on
κ
=
⊕
i
Y
ℓ
,
i
κ
,
i
∈
{
1
,
…
,
L
}
\begin{aligned} \mathcal{F}_{\ell, \text { on-off }}^{\kappa} &=\oplus_{i} X_{\ell, i}^{\kappa}, i \in\{1, \ldots, L\} \\ \mathcal{F}_{\ell, \text { off-on }}^{\kappa} &=\oplus_{i} Y_{\ell, i}^{\kappa}, i \in\{1, \ldots, L\} \end{aligned}
Fℓ, on-off κFℓ, off-on κ=⊕iXℓ,iκ,i∈{1,…,L}=⊕iYℓ,iκ,i∈{1,…,L}
整个图像金字塔步骤如下图所示:
3. Feature Fusion
最后,每个通道的特征图融合(加权平均)得到conspicuity maps(醒目图)
ϵ
ℓ
κ
,
κ
→
{
I
ℓ
,
R
ℓ
,
A
ℓ
,
D
ℓ
}
\epsilon_{\ell}^{\kappa}, \quad \kappa \rightarrow \left\{I_{\ell}, R_{\ell}, A_{\ell}, D_{\ell}\right\}
ϵℓκ,κ→{Iℓ,Rℓ,Aℓ,Dℓ}
根据醒目图加权平均得到最终的显著性图像
S
l
S_l
Sl:
S
ℓ
=
g
(
ϵ
ℓ
I
,
ϵ
ℓ
R
,
ϵ
ℓ
A
,
ϵ
ℓ
D
)
\mathcal{S}_{\ell}=\mathrm{g}\left(\epsilon_{\ell}^{I}, \epsilon_{\ell}^{R}, \epsilon_{\ell}^{A}, \epsilon_{\ell}^{D}\right)
Sℓ=g(ϵℓI,ϵℓR,ϵℓA,ϵℓD)
然后对显著性图进行直方图均衡化,并消除低显着性值
B. Distance-based Saliency Thresholding
这步主要使用激光点云的距离信息,在原来显著性图的基础上去除距离较远的点,只关注于近距离的显著性区域。
论文这部分写的实在是不容易懂。。。。不保证理解的全部正确
实验结果:
分别在地面机器人和无人飞行器上做了实验,将显著性图可视化。
没有对比试验