目录
一、Title
FuseSeg: Semantic Segmentation of Urban Scenes BasedonRGB and Thermal Data Fusion
二、Journal
IEEE Transactions on Automation Science and Engineering
三、Background
当光照条件不满足时，例如昏暗的光线或完全黑暗，RGB图像的信息可能会变得不那么丰富。热成像对具有挑战性的照明条件是稳健的。在光照条件不理想的情况下，热图像可以帮助检测和分割物体。
激光雷达也可在不理想的照明条件下工作，与热成像相机的优点有四方面：
1. 热成像摄像机比可视摄像机昂贵，但仍然比激光雷达便宜得多。
2. 热图像本质上是灰度图像。计算机视觉的技术可以直接用于热成像。例如，成功的CNN可以直接用在热图像上，不需要任何修改就可以提取特征。LiDAR点云的数据结构与图像不同，是稀疏的点列表，而不是密集的数组。计算机视觉技术可能不能直接用于激光雷达点云。
3. 热成像相机可以提供实时密集图像，如可见光相机。热成像相机可以传输分辨率为512×640的热图像，运行频率为60HZ。激光雷达点云比热图像稀疏得多，帧率较慢。例如，Velodyne HDL-64E S3最多只能旋转20HZ。对于语义理解任务，稀疏测量(64线)可能会忽略对象的细节或远距离的小对象，而缓慢的帧率可能会引入伪影或运动扭曲，这可能会阻碍感知。
4. 当前旋转激光雷达的机械结构复杂，主要是由于光束偏转单元。机械部件，如马达和齿轮，会受到摩擦和磨损，这使得激光雷达在长期运行中不那么耐用。此外，自动驾驶汽车通常需要将激光雷达安装在外部，这可能会直接暴露在恶劣的天气条件下，从而缩短寿命，而热成像摄像机只是电子设备，可以放置在车辆内部，如可视摄像机。他们可以长期工作而不需要额外的维护。
RGB-Thermal融合比Lidar-Camera融合更适合自动驾驶中的语义推理。由于行人等易受攻击的道路使用者的温度通常高于周围环境，因此他们在热图像中更容易被识别，可以提供强信号进行分割。此外，热成像相机可以在60HZ或更高的频率下工作，这允许语义推理在空间上进行集中。以车速为70km/h的车辆为例，60HZ摄像机连续两幅图像之间的车辆移动距离约为(70×103/60×3600)≈0.3 m。在大多数情况下，两次语义推理之间的距离足够。
四、Model
FuseSeg的总体架构：由RGB编码器、Thermal编码器和解码器组成，编码器的backbone是DenseNet。在两阶段融合的第一阶段，Thermal的feature map与RGB的feature map在RGB编码器中分层添加。然后在第二阶段将融合后的feature map与相应的解码器feature map连接。蓝色矩形代表feature map。白色矩形代表从RGB编码器复制的融合后的feature map。紫色箭头和绿色箭头分别表示解码器中的特征提取器和上采样。s表示RGB图像和热图像的输入分辨率，相同level的feature map分辨率相同。表示不同层feature map的通道数。
五、Experiments
Experiment 1
在几乎完全黑暗的照明条件下与两个最先进的网络进行定性比较。(a)RGB图像；(b)热图像；(c)ground truth；(d)SegHRNet；(e)DFN；(f)FuseSeg。一个骑自行车的人在RGB图像中几乎不可见，但在热图像中可以清楚地看到。SegHRNet和DFN都不能正确分割对象，而FuseSeg可以给出一个可接受的结果。mask图像中的黄色和蓝色分别代表人和自行车，其他颜色表示其他类。
Experiment 2
NTE：删除Thermal编码器，使用RGB数据。
NRE：删除RGB编码器，使用Thermal数据。
使用DenseNet161的所有网络都比其他网络获得更高的精度；在四种DenseNet中，DenseNet-161的图像分类性能是最佳的；FuseSeg性能优于NTE和NRE，说明数据融合的优势；比较NTE和NRE，NRE的结果都优于NTE，说明Thermal数据在网络中起着重要的作用。
Experiment 3
Experiment 4
706
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
