CondLaneNet :a Top-to-down Lane Detection Framework Based on Conditional

论文：arxiv.org/pdf/2105.05003.pdf

代码：GitHub - aliyun/conditional-lane-detection

    文献提出了CondLaneNet，一种新的自顶向下的车道线检测模型。首先检测车道线实例，然后动态的预测每一个实例的车道线的形状。首先，为了解决车道线实例级判别（instance-level discrimination）问题，作者引入了基于条件卷积核逐行公式化的条件车道线检测策略。其次，现代基于深度学习的车道线检测方法在大多数场景之下都取到了较大的成就，但在处于复杂的拓扑结构下的车道线检测，比如密集车道线和交叉车道线。还需要更多人去关注和提升性能。故作者提出了循环实例模型RIM。

   该文章主要对Conditioanal Lane Detection、Recurrent Instance Module、backbone中的transformer encoder几个重要模块进行了详细的介绍。整体框架如下图1所示。

图1 整体框架

    Conditional Lane Detection 主要分为了两个步骤：实例检测和形状预测。其中实例检测需要预测实例并且为每一个实例回归一组动态核参数。形状预测则根据每个实例所对应的一组动态核参数来逐实例的预测形状。由于一般的条件实例分割方法是通过预测每个物体的中心来实现的，故不适用车道线检测（细长的线，中心的特征不明显），因此作者提出在车道线的起始点来检测proposal point，且用proposal 热图来检测proposal points。得到proposal points后根据CondInst和SOLOv2预测参数映射来回归动态核参数。对于形状预测，作者改进了逐行公式。在逐行公式中，预测每行上的车道位置，然后根据车道线的形状，将这些车道位置从下到上聚合以获得车道线。作者提出的逐行公式包括：逐行位置、垂直范围、偏移映射。前两项是比较常见的，作者加了偏移映射是因为预测的是网络的点，而不是精准的坐标，故增加了偏移量。

    根据上述的实例检测，每一个proposal point 对应一个车道线实例。但是在复杂道路情况下，多条车道线会存在有相同的proposal point 的情况，比如密集车道线和交叉车道线。为了解决这一问题，作者提出了Recurrent Instance Module循环实例模型。RIM的结构图如下图2所示。基于长短期记忆（LSTM），RIM循环预测状态向量Si和核参数向量Ki。在推理的过程中，RIM循环的预测相同的proposal point 的核参数直到Si为“stop”。因此，相同的proposal point 可以预测出多种车道线形状。

图2 RIM结构图

    该模型的整体结构采用ResNet作为backbone并且添加了一个标准的FPN模型来提供多尺度特征。该模型还需要上下文融合的能力，于是作者在backbone 的最后一层添加了transformer encoder 结构。

     CondLaneNet框架刷新了CULANE、CurveLanes和TuSimple上最先进的性能。此外，在CULANE和CurveLanes上，我们的CondLaneNet小版本不仅在准确性上优于其他方法，而且还具有实时效率。但由于模型比较庞大，故GFlops比较高。

    由于本人要进行文献审查了，所以想在这里记录一下自己看的文献。欢迎大家来教我，还是一个小白，大家多多指教。