[论文笔记] Line-CNN: End-to-End Traffic Line Detection With Line Proposal Unit

Avins_

已于 2023-07-20 14:38:29 修改

阅读量6.2k

点赞数 5

分类专栏：论文笔记车道线检测文章标签：论文笔记

于 2022-04-06 11:43:19 首次发布

本文链接：https://blog.csdn.net/avinswang/article/details/123986239

版权

论文笔记同时被 2 个专栏收录

7 篇文章 2 订阅

订阅专栏

车道线检测

2 篇文章 0 订阅

订阅专栏

IEEE TITS 2019 YangJian

last update: 2023/07/17

简介

作者受Faster-RCNN启发, 提出Line-CNN, 提出了一种新颖的车道线Anchor的表示方法,解决了车道线检测中表征的难点, 实现了端到端的车道线检测.

车道线是一条曲线, 所以无法使用常规检测中矩形bbox作为Anchor, 为了用Anchor来表示车道线, 本文提出了候选线(line proposal, LP), 即Anchor不是矩形框, 而是从左,下,右边界发出的不同角度的射线, 通过这种Anchor将每条车道线划分正负样本(计算LP和GT的距离), 计算loss并更新模型参数.

名词解释:

line proposal (LP) 候选线(作用和检测任务中的Anchor一样) , 用于确定正负样本和车道线位置回归
line proposal unit (LPU), 用来生成LP的模块, 作用类似RPN

网络结构

网络结构分为特征提取和检测头, 特征提取用ResNet, 检测头中实现了输出设定好的模型输出(包括是否为线的置信度, 长度, x轴方向上的偏移量)如下图右下的表格中的数据;

LPU

在车道线检测中使用线Anchor代替RPN中的Anchor box, 这里的线Anchor就称为LP.

先验知识和概述

先验知识: 车道线都是从图片的左侧,右侧或者底部出现, 失在灭点消失, 所以在特征图的三个边界(左,右,下)生成大量的LP就符合先验.

假设特征图的大小高H,宽W, 将该特征图划分成HxW个网格, 在左, 右, 底边的列(或行)中的每个点(这里称为LP起点)生成一簇LP, 分别用 $k_l$ , $k_r$ , $k_d$ 表示; 注: 一簇LP表示这个点生成的不同方向的LP.
特征图共生成LP起点数为 $H*(k_l + k_r ) + W*k_d$ , 左,右两侧每个起点各6个角度, 底边为15个角度(见下图) , 总的Anchor数量很容易就算出来了, 但是不是所有的LP都会用到, 实际应用中会根据不同的数据集统计LP的频率, 然后将频率最高的1000个LP应用到实际训练中.

在这里插入图片描述

LP如何生成的?

使用LPU(可把它当成一个函数, 便于理解)从 $\times W$ 的特征图按照下图红色箭头顺序, 对每个点生成6个或15个LP, 每个LP用一个长度为77的向量表示, 包括 [负样本概率, 正样本概率, 起始y坐标, 起始x坐标, 车道线长度, 72个偏移量]

在这里插入图片描述

代码实现如下:
这段代码最重要的是279~281行, 给设置好的Anchor填充初始值, 前5个值*[负样本概率, 正样本概率, 起始y坐标, 起始x坐标, 车道线长度]*很容易理解, 后面的值, 车道线相对于x轴的偏移量, 即281行, 这里需要理解本文中的车道线是如何进行参数化表示, 弄懂这点就很容易理解了.
在这里插入图片描述

车道线参数化表示

如果要你来想一种方法表示车道线, 或许你会想到多项式曲线, 贝塞尔曲线等等, 那么本文中为什么不用这些方法表示, 是因为使用该类抽象的数学表示方法不便Line-CNN计算loss等操作; 另一方面来说, Line-CNN由TuSimple数据集的表示方法, 才想到用线Anchor的方法来检测车道线;

TuSimple数据集图像在竖直方向上, 每隔10个像素对车道线采样一个点, 一条车道线可以用一个点集表示, 如下:

{
“lanes”: [
[-2, -2, -2, -2, 632, 625, 617, 609, 601, 594, 586, 578, 570, 563, 555, 547, 539, 532, 524, 516, 508, 501, 493, 485, 477, 469, 462, 454, 446, 438, 431, 423, 415, 407, 400, 392, 384, 376, 369, 361, 353, 345, 338, 330, 322, 314, 307, 299],
],
“h_samples”: [240, 250, 260, 270, 280, 290, 300, 310, 320, 330, 340, 350, 360, 370, 380, 390, 400, 410, 420, 430, 440, 450, 460, 470, 480, 490, 500, 510, 520, 530, 540, 550, 560, 570, 580, 590, 600, 610, 620, 630, 640, 650, 660, 670, 680, 690, 700, 710],
“raw_file”: “path_to_clip”
}
TuSimple

本文中的i表示方法

将原图用S条水平线均匀分割成S-1份, 水平分割线索引为1,2,3, … S, 顺序从图像底部->图像顶部, 车道线和水平线的交点构成的点集, 就可以用来参数化的表示车道线, 见下图

数学描述如下:

车道线 $l$ 表示如下, $l=\left\{x_{s^{l}}, x_{s^{l}+1}, \cdots, x_{e^{l}}\right\}$ , $s^l$ 是车道线 $l$ 的起始索引, $s^e$ 为结束索引
LP表示为 $L=\left\{X_{s}^{L}, X_{s^{L}+1}, \cdots, X_{i n f}\right\}$ , $X_{inf} = inf$ , 因为LP为射线, 所以可以到无穷远, 但实际用时, 索引只会到图片的上边界;

这里为什么只给出了x索引值?
因为y方向的坐标是固定的, 从图像底部到图像顶部均匀切分, y坐标可以容易计算出
在这里插入图片描述

车道线从标注中进行编码

可以参考下面代码, 主要逻辑是1. 把不符合要求的车道线删除 2. 对线Anchor(长度为77的向量, 见上面)的各个位置上的数值进行更新;
在这里插入图片描述

在这里插入图片描述

车道线距离计算

$D\left(L_{i}, l_{j}\right)= \begin{cases}\frac{\sum_{p=s^{c}}^{e^{c}}\left|X_{p}-x_{p}\right|}{e^{c}-s^{c}+1}, & e^{c} \geq s^{c} \\ i n f, & e^{c}<s^{c}\end{cases}$

车道线 $l_i$ 和 LP $L_i$ 之间的距离用上述公式计算;

起始索引选车道线和LP最大的索引, $s^{c}=\max \left(s^{L_{i}}, s^{l_{j}}\right)$ 注意: 由于索引是从下往上递增的, 所以两者中的大的值是离边缘较远的那个索引.
结束索引选车道线和LP最小的, LP索引结束索引会是无穷大, 即为车道线结束索引 $e^{c}=\min \left(\right.$ inf, $\left.e^{l_{j}}\right)=e^{l_{j}}$

该距离度量公式可以计算两个车道线的距离, 可以做线的聚类

Line-CNN损失函数

首先将LP $L_i$ 设置正负标签, 如果满足1. $D\left(L_{i}, l_{j}\right)=d$ 是最小的, 2. $d<t_{pos}$ 即小于阈值设置该 $L_i$ 为正标签
由于一条车道线可能将多个LP设置为正标签, 所以将一个非正的LP设置为负标签如果该LP对于所有的车道线的距离都大于 $t_{neg}$
没有标签的LP不会参与模型训练

$\mathcal{L}\left(p_{i}, \mathbf{r}_{i}\right)=\lambda \sum_{i} \mathcal{L}_{c l s}\left(p_{i}, p_{i}^{*}\right)+\sum_{i} p_{i}^{*} \mathcal{L}_{r e g}\left(\mathbf{r}_{i}, \mathbf{r}_{i}^{*}\right)$

$i$ 是LP的索引
$p_i$ 是 $L_i$ (LP)预测为车道线的概率; $p^*_i$ 是车道线的GT, 取值为1或0
$r_i$ 是预测的S+1个坐标向量; $r^*_i$ 是与 $L_i$ 距离最小的 $l_i$ 的坐标向量
分类损失为log损失; 回归损失是smoothL1, 回归损失只有正标签才有响应

$\mathbf{r}_{i}^{*}=\left\{e^{l_{j}}-s^{l_{j}}+1, x_{s}^{l_{j}}-X_{s} L_{i}, x_{s^{l_{j}}+1}-X_{s} L_{i}+1, \cdots\right\}$

第一个位置为点的数量
区域位置为车道线到LP的偏移量
实际计算过程中将 $s^{l_{j}}=s^{L_{i}}$ , 将真实车道线的起点等于LP的起点, 为了正确计算回归损失

特征图上提取的LP如何映射回原图

网络输入原始图像尺寸为288x512, 假设特征图为原来的1/16, 特征图大小为18x32; 特征图上的每个像素生成的k( $k_l$ ,或 $k_r$ ,或 $k_d$ )个LP会映射到原始图像中, 和RPN的Anchor映射会原图的原理是一样的, 这个是我猜的, 毕竟论文中也没写实怎么映射的, 需要看代码了FC.

存在问题

车道线不从图像边缘出发
水平车道线
曲率大的车道线检测不了

总结

为了解决车道线检测问题, 提出了LPU来提取LP用于车道线的位置回归和类别判断, 思路挺朴素但是效果挺好; 文章不足, 特征图提取的LP如何映射回原图没有写, 还是我自己猜的, 应该和RPN差不多; 数据集代码都没有, 简直太坑了, 数据集可以没有, 代码不开源都不知道细节怎么实现的, 好在LaneATT是开源的, 从这里应该能够知道这篇文章的实现细节.