PINet: Key Points Estimation and Point Instance Segmentation Approach for Lane Detection 论文笔记

Key Points Estimation and Point Instance Segmentation Approach for Lane Detection

论文链接： https://arxiv.org/abs/2002.06604

一、Problem Statement

目前的车道线检测存在着一些缺陷，比如只能检测有限的车道线，较高的 false positive(检测不到车道线)。

二、Direction

提出了一个可以检测任意车道数的网络，并且这个网络具有低的false positive。这个网络可以输出车道线上的实际点，所以把这些生成的点的聚类问题当成是点云实例分割问题,因此提出的模型是segmentation based method。并提出后处理算法消除杂点。

三、Method

一、 Lane Instance Point Network

既然是网络的输出是车道线上的点，网络的基础结构就使用了hourglass network。首先其输入是512x256，然后经过一个resizing层和一个特征提取层。resizing layer使用的是一系列卷积层和池化层。特征提取层使用两个hourglass network。每一个hourglass network block有三个输出分支,分别是confidence, offset,和 feature。

来看一下这个网络的Loss，其包含三个部分:
$$L_{total}=a{L}_{confidence}+b{L}_{offset}+c{L}_{feature}$$

1. confidence branch

confidence branch 预测每一个单元格的置信度。然后这个值会传递给下一个hourglass block，用来稳定训练。这个分支的loss为:
$$L_{confidence}=\frac{1}{N_e}{\gamma }_e\sum _{g\in G_e}(g_c^{\ast }-g_c{)}^2+\frac{1}{N_n}{\gamma }_n\sum _{g\in G_n}(g_c^{\ast }-g_c{)}^2$$

$N_e,N_n$表示存在点或者不存在点的单元格的数量。$G$表示所有单元格，$g_c^{\ast }$是ground-truth， $g_c$是预测值。

2. offset branch

offset branch是用来找到每个点的确切位置。它的值在0-1区间，是相对于每一个单元格(grid)。offset branch有两个通道，分别预测x轴和y轴。
$$L_{offset}=\frac{1}{N_e}{\gamma }_x\sum _{g\in G_e}(g_x^{\ast }-g_x{)}^2+\frac{1}{N_e}{\gamma }_y\sum _{g\in G_n}(g_y^{\ast }-g_y{)}^2$$

3. feature branch

这个分支的训练是用来使具有相同实例的网格特征更接近，不同实例的特征距离更远，是一个聚类的过程。看一下它的loss:
$$L_{feature}=\frac{1}{N_e^2}\sum _i^{N_e}\sum _j^{N_e}l(i.j)$$
$$l(i,j)=\{\begin{array}{ccc}||F_i-F_j|{|}_2& if& C_{ij}=1\\ max(0,K-||F_i-F_j|{|}_2)& if& C_{ij}=2\end{array}$$
其中$C_{ij}$表示点$i,j$ 是否是同一个实例，如果是同一个实例，则等于1，否则为2。$F_i$表示输出的特征点。$K>0$是一个常量。然后使用简单的distance based 聚类算法区分点的类别。

二、 后处理算法

目的消除杂点，但是根据实际跑起来的程序来看，这个步骤处理的很慢，可以注释掉或者优化提升速度。步骤为:

1. 找六个开始点。开始点是最低的点，三个来自最左边和三个来自最后边的点。如果预测的车道在图像中心的左边，最左边的三个点就会被选择。
2. 选择三个最接近开始点的点。
3. 从第一步和第二步选出的点中，做一条直线。
4. 计算其他点和这个直线的距离。
5. 计算在阈值范围内有多少个点。
6. 选择计数大于阈值的点作为新的起始点，考虑该点与起始点属于相同的集群。我们将阈值设置为剩余点的20%
7. 重复2-6步，知道在第二步中找不到点。
8. 对所有起始点重复1-7步，最大聚类长度作为结果线。
9. 对所有预测车道线重复1-8步骤。

三、 数据增强
通过翻转、平移、旋转、添加高斯噪声、亮度增强、增加阴影来进行数据增强。

四、Conclusion

简单明了的一个网络，但是TuSimple数据集较为简单，感觉源代码训练有点过拟合。实际运用起来效果也不错，再加上TensorRT加速可以有比较好的效果，但是精度会稍微下降。如果需要一条线段而不是点的话，可以采用多项式拟合。对一些边沿或者轨道，可以采用此网络进行检测。

References

1.https://zhuanlan.zhihu.com/p/115170109