OMR_ 新思路解决遮挡车道线检测问题！优于现有SOTA

OMR: 新思路解决遮挡车道线检测问题！优于现有SOTA

论文思路：

本文提出了一种用于视频车道检测的新算法。首先，本文为当前帧提取特征图，并检测遮挡车道的障碍物潜在掩码(latent mask)。然后，本文通过开发一个遮挡感知的基于记忆的优化（OMR）模块来增强特征图。该模块以当前帧的障碍物掩码和特征图、前一输出以及记忆信息作为输入，在视频中递归处理这些信息。此外，本文应用了一种新颖的数据增强方案来有效地训练OMR模块。实验结果表明，所提出的算法在视频车道数据集上优于现有技术。

附赠自动驾驶最全的学习资料和量产经验：链接

主要贡献：

• 所提出的OMR模块通过利用障碍物掩码和记忆信息改进当前帧的车道检测结果。

• 本文引入了一种新颖的视频车道检测训练策略，以更稳健地识别车道。

• 所提出的算法在视频数据集上产生了出色的车道检测结果。

论文设计：

车道检测旨在定位道路场景中的车道，这对于实现自动驾驶或辅助人类驾驶至关重要。然而，由于附近车辆的遮挡或恶劣天气条件，车道可能不明显，导致检测困难。在车道检测方面，早期方法试图通过提取低级特征来寻找可见的车道线索 [1, 7, 8, 42]。最近，许多技术已经被开发出来，以利用深度特征处理隐含车道。一些方法采用语义分割框架 [9, 10, 21, 24, 40]，将每个像素分类为车道类别或非车道类别。还进行了几次尝试来提取连续的车道信息，包括曲线建模 [5, 16, 19, 29, 31] 和关键点关联 [25, 32, 37]。与此同时，基于锚点的车道检测器 [12, 13, 28, 34, 41] 也被提出。这些方法预定义了一组车道锚点，然后通过对每个锚点的分类和回归来检测车道，确保车道的连续性。然而，所有这些方法都是基于图像的检测器，独立处理每一帧，因此它们通常无法提供时间上稳定的检测结果，特别是在某些车道被物体遮挡时，如图1所示。

图1：道路场景示例，其中一些车道部分被多个物体遮挡。可见的车道和遮挡物分别用白线和橙色多边形表示。

视频车道检测器也已经被开发出来。这些技术利用过去的信息来检测当前帧中的车道，这有助于更可靠地识别隐含的车道。大多数方法 [27, 33, 38, 39, 44] 采用图2(a)中的框架。这些视频检测器提取若干过去和当前帧的特征，聚合这些特征，并使用混合特征在当前帧中检测车道。然而，它们不会在未来的帧中重用这些混合特征。最近，一种递归视频车道检测器（RVLD） [11] 被提出。如图2(b)所示，RVLD仅通过运动估计和特征优化来增强当前帧的特征，并递归地将当前帧的状态传递给下一帧。RVLD在性能上优于现有的图像和视频车道检测器，但由于其严重依赖当前帧中的信息，因此可能会不准确地检测车道。特别是当当前帧中的车道被附近的车辆严重遮挡时，RVLD往往会产生不可靠的检测结果。

本文提出了一种新颖的视频车道检测器，结合了遮挡感知的基于记忆的优化（OMR）模块。如图2©所示，它利用潜在的障碍物掩码和记忆信息来增强当前帧的特征图。首先，本文从当前帧中提取特征图并检测潜在的障碍物，这些障碍物会妨碍车道的可见性。然后，本文通过OMR模块优化特征图，该模块将当前帧的障碍物掩码和特征图、之前的输出以及记忆信息作为输入。此外，本文开发了一种有效的数据增强方案，以稳健地训练OMR模块。实验结果表明，所提出的算法在VIL-100 [39] 和 OpenLaneV [11] 数据集上优于现有技术。

图2：视频车道检测的三种方法。(a) 中，提取当前帧 �� 和过去 � 帧的特征图并混合，以优化 �� 的特征图。(b) 中，仅使用单一的前一帧来增强 �� 的特征图，并递归地将增强后的特征传递给后续帧。© 中，所提出的算法利用障碍物和记忆信息，通过OMR模块改进 �� 的特征图。需要注意的是，灰色、蓝色、绿色和橙色的框分别代表帧内特征、优化特征、记录的记忆和潜在障碍物掩码。

图3：所提出算法的概览，其执行四个步骤：编码、潜在障碍物检测、OMR和解码。在此示例中，最右侧的车道部分被附近的车辆遮挡，因此编码后的特征存在缺陷，使车道检测变得困难。然而，所提出的算法可以通过有效地优化遮挡区域内的特征，精确地检测隐含的车道。如虚线红框所示，本文可以看到所提出的OMR模块将遮挡车道的特征增强为更具辨识度的特征。

图4：编码器和解码器的架构：(a) 给定一张图像 �，使用主干网络提取三个最粗糙的特征图。在匹配它们的通道维度和分辨率后，它们被编码成一个组合特征图 �。(b) 从特征图 � 中估计车道概率图 �。然后，通过应用可变形卷积，从 � 中预测车道系数图 �。

图5：潜在障碍物检测和OMR的框图：(a) 从编码特征图 � 中预测潜在障碍物的二值概率图 �。通过对 � 进行阈值处理，确定二值障碍物掩码 �。为了获得其真实值 �¯，采用了语义分割算法 SegFormer [35]。(b) 在OMR中，将四个输入图 ��−1、��−1、�~� 和 �~� 聚合为 �。然后，使用组合特征图 �，通过 ConvLSTM [26] 更新 (ℎ�−1,��−1) 为 (ℎ�,��)。接着，将 ℎ� 添加到 �~� 中以将其优化为 ��。蓝色框表示一系列带有批量归一化和 ReLU 函数的2D卷积操作。

图6：障碍物掩码 �~�、特征图 �~�、概率图 �~� 及其增强版本 �� 和 �� 的可视化。在当前帧 �� 中，一些车道部分被附近的车辆遮挡。�~� 的可见车道部分具有足够的辨识度来识别它们。相比之下，遮挡部分的特征信息不够丰富。因此，�~� 在遮挡区域的估计效果较差。然而，在 �� 和 �� 中，使用所提出的OMR模块，遮挡区域的车道特征和车道概率得到了忠实的恢复。为了可视化这些特征图，进行了最小-最大归一化。

图7：(a) 在训练集中，每张图像通过从KINS数据集中叠加新物体（如车辆或骑自行车的人）进行合成。(b) 此外，通过在帧之间线性变化这些物体的大小和位置，重新生成视频序列。由于从KINS中提取的是完整形状的物体，因此生成的图像显得自然。

实验结果：

图8：在VIL-100数据集上车道检测结果的比较。

图9：在OpenLane-V数据集上车道检测结果的比较。

图10：障碍物掩码 �~�、特征图 �~�、概率图 �~� 及其增强版本的可视化。

总结：

本文提出了一种新型的视频车道检测器。首先，所提出的算法提取当前帧的特征图，并检测阻碍车道可见性的潜在障碍物。然后，利用基于遮挡感知记忆的优化（OMR）模块对特征图进行增强，该模块将检测到的障碍物掩码、当前帧的特征图、前一输出以及记忆信息作为输入。增强后的特征图用于更可靠的车道检测。此外，本文开发了一种数据增强方案，以稳健地训练OMR模块。实验结果表明，所提出的算法在性能上显著优于现有技术。

引用：

@ARTICLE{2024arXiv240807486J,
       author = {{Jin}, Dongkwon and {Kim}, Chang-Su},
        title = "{OMR: Occlusion-Aware Memory-Based Refinement for Video Lane Detection}",
      journal = {arXiv e-prints},
     keywords = {Computer Science - Computer Vision and Pattern Recognition},
         year = 2024,
        month = aug,
          eid = {arXiv:2408.07486},
        pages = {arXiv:2408.07486},
          doi = {10.48550/arXiv.2408.07486},
archivePrefix = {arXiv},
       eprint = {2408.07486},
 primaryClass = {cs.CV},
       adsurl = {https://ui.adsabs.harvard.edu/abs/2024arXiv240807486J},
      adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}