目录
一、Title
FuseSeg: Semantic Segmentation of Urban Scenes BasedonRGB and Thermal Data Fusion
二、Journal
IEEE Transactions on Automation Science and Engineering
三、Background
当光照条件不满足时,例如昏暗的光线或完全黑暗,RGB图像的信息可能会变得不那么丰富。热成像对具有挑战性的照明条件是稳健的。在光照条件不理想的情况下,热图像可以帮助检测和分割物体。
激光雷达也可在不理想的照明条件下工作,与热成像相机的优点有四方面:
1. 热成像摄像机比可视摄像机昂贵,但仍然比激光雷达便宜得多。
2. 热图像本质上是灰度图像。计算机视觉的技术可以直接用于热成像。例如,成功的CNN可以直接用在热图像上,不需要任何修改就可以提取特征。LiDAR点云的数据结构与图像不同,是稀疏的点列表,而不是密集的数组。计算机视觉技术可能不能直接用于激光雷达点云。
3. 热成像相机可以提供实时密集图像,如可见光相机。热成像相机可以传输分辨率为512×640的热图像,运行频率为60HZ。激光雷达点云比热图像稀疏得多,帧率较慢。例如,Velodyne HDL-64E S3最多只能旋转20HZ。对于语义理解任务,稀疏测量(64线)可能会忽略对象的细节或远距离的小对象,而缓慢的帧率可能会引入伪影或运动扭曲,这可能会阻碍感知。
4. 当前旋转激光雷达的机械结构复杂,主要是由于光束偏转单元。机械部件,如马达和齿轮,会受到摩擦和磨损,这使得激光雷达在长期运行中不那么耐用。此外,自动驾驶汽车通常需要将激光雷达安装在外部,这可能会直接暴露在恶劣的天气条件下,从而缩短寿命,而热成像摄像机只是电子设备,可以放置在车辆内部,如可视摄像机。他们可以长期工作而不需要额外的维护。
RGB-Thermal融合比Lidar-Camera融合更适合自动驾驶中的语义推理。由于行人等易受攻击的道路使用者的温度通常高于周围环境,因此他们在热图像中更容易被识别,可以提供强信号进行分割。此外,热成像相机可以在60HZ或更高的频率下工作,这允许语义推理在空间上进行集中。以车速为70km/h的车辆为例,60HZ摄像机连续两幅图像之间的车辆移动距离约为(70×103/60×3600)≈0.3 m。在大多数情况下,两次语义推理之间的距离足够。
四、Model
FuseSeg的总体架构:由RGB编码器、Thermal编码器和解码器组成,编码器的backbone是DenseNet。在两阶段融合的第一阶段,Thermal的feature map与RGB的feature map在RGB编码器中分层添加。然后在第二阶段将融合后的feature map与相应的解码器feature map连接。蓝色矩形代表feature map。白色矩形代表从RGB编码器复制的融合后的feature map。紫色箭头和绿色箭头分别表示解码器中的特征提取器和上采样。s表示RGB图像和热图像的输入分辨率,相同level的feature map分辨率相同。表示不同层feature map的通道数。
五、Experiments
Experiment 1
在几乎完全黑暗的照明条件下与两个最先进的网络进行定性比较。(a)RGB图像;(b)热图像;(c)ground truth;(d)SegHRNet;(e)DFN;(f)FuseSeg。一个骑自行车的人在RGB图像中几乎不可见,但在热图像中可以清楚地看到。SegHRNet和DFN都不能正确分割对象,而FuseSeg可以给出一个可接受的结果。mask图像中的黄色和蓝色分别代表人和自行车,其他颜色表示其他类。
Experiment 2
NTE:删除Thermal编码器,使用RGB数据。
NRE:删除RGB编码器,使用Thermal数据。
使用DenseNet161的所有网络都比其他网络获得更高的精度;在四种DenseNet中,DenseNet-161的图像分类性能是最佳的;FuseSeg性能优于NTE和NRE,说明数据融合的优势;比较NTE和NRE,NRE的结果都优于NTE,说明Thermal数据在网络中起着重要的作用。