IEEE TITS文章:Robust Lane Detection through Self Pre-training with Masked Sequential Autoencoders and Fine-tuning with Customized PolyLoss,原文地址:https://ieeexplore.ieee.org/document/10226453
Github代码地址:GitHub - RuohanLixyf/Lane-Detection-Self-Supervised-MSAE: Robust Lane Detection through Self Pre-training with Masked Sequential Autoencoders and Fine-tuning with Customized PolyLoss。代码中包含了训练的数据、预训练的模型,和论文中使用的图片随机掩蔽代码,模型以及PolyLoss的代码。
摘要:车道检测对于车辆定位至关重要,是自动驾驶以及许多智能和高级驾驶辅助系统的基础。现有的基于视觉的车道检测方法没有充分利用有价值的特征和汇总上下文信息,尤其是连续帧中车道线和图像其他区域之间的相互关系。为了填补这一研究空白并提升车道检测性能,本文提出了一种使用多连续图像帧的端到端神经网络模型的流水线,包括使用掩蔽顺序自动编码器进行自我预训练和使用自定义 PolyLoss 进行微调。采用掩蔽顺序自动编码器对神经网络模型进行预训练,以从随机掩蔽图像中重建缺失像素为目标。然后,在执行车道检测分割的微调分割阶段,连续图像帧作为输入,使用自定义 PolyLoss 的反向传播机制传输和进一步更新预训练的模型权重,计算输出车道检测结果与标记的真实值之间的加权误差。大量实验结果表明,采用该流程,车道检测模型在正常和挑战场景下的性能均可超越现有技术水平,在正常场景测试集上实现最佳测试准确度(98.38%)、精确度(0.937)和 F1 测量值(0.924),在挑战场景测试集上实现最佳总体准确度(98.36%)和精确度(0.844),同时训练时间可大幅缩短。
图1 论文整体框架
图2 预训练结果(图片的掩码以及图片的重构)
图3 车道线检测结果