车道线检测-BezierLaneNet-CVPR2022论文学习笔记

• 论文：《Rethinking Efficient Lane Detection via Curve Modeling》
• 代码：https://github.com/voldemortX/pytorch-auto-drive
• 地址：https://arxiv.org/abs/2203.02431
• 内容：使用 CNN，基于贝塞尔曲线拟合车道线

整体结构

特征提取器：三层 ResNet 结合 RESA 模块。
特征提取器上还要加一个辅助分支：分割分支

模型输出的东西

贝塞尔曲线的四个控制点 ${\mathcal{P}}_i$，以及车道线的存在性。

三阶贝塞尔曲线的表达式：

$$\begin{array}{rl}\mathcal{B}(t)& ={\Sigma }_{i=0}^3{b}_{i,3}(t)\cdot {\mathcal{P}}_i,0\le t\le 1\\ b_{i,n}& =C_n^i{t}^i(1-t{)}^{3-i},i=0,1,2,3\end{array}$$

特征的水平翻转融合

试图利用车道线的对称性（这部分起效的原因很值得探讨）。

整体的损失函数

主要分为三部分：回归、分类、分割：

$$\mathcal{L}={\lambda }_1{\mathcal{L}}_{reg}+{\lambda }_2{\mathcal{L}}_{cls}+{\lambda }_3{\mathcal{L}}_{seg}$$

其中，

• 分割的损失函数 ${\mathcal{L}}_{seg}$ 不再赘述；
• ${\mathcal{L}}_{cls}$ 使用一个权重控制正负样本之间的数据不平衡：
  ${\mathcal{L}}_{cls}=-y\log p-w\cdot (1-y)\log (1-p)$
• ${\mathcal{L}}_{reg}$ 是预测曲线与 GT 之间的距离，表达式如下：
  ${\mathcal{L}}_{reg}=\frac{1}{m}{\Sigma }_i{L}_1(\mathcal{B}(t_i),\hat{\mathcal{B}}(t_i))$

其中， { t i } \{t_i\} {ti​} 是 $t$ 在 $[0,1]$ 上的均匀采样，每条车道线 $m$ 个样本。

注意：

• 由于模型输出的是四个控制点，所以还需要将数据的 GT 转为控制点的形式。

• 利用最小二乘法，可以得到控制点 GT 的生成方案：
  $$\left[\begin{array}{c}{\mathcal{P}}_0\\ {\mathcal{P}}_1\\ {\mathcal{P}}_2\\ {\mathcal{P}}_3\end{array}\right]=\left[\begin{array}{c}{k}_{x_0}{k}_{y_0}\\ k_{x_1}{k}_{y_2}\\ ⋮⋮\\ k_{x_m}{k}_{y_m}\end{array}\right]{\left[\begin{array}{c}{b}_{0,3}(t_0)b_{1,3}(t_0)b_{2,3}(t_0)b_{3,3}(t_0)\\ b_{0,3}(t_1)b_{1,3}(t_1)b_{2,3}(t_1)b_{3,3}(t_1)\\ ⋮\ddots ⋮\\ b_{0,3}(t_m)b_{1,3}(t_m)b_{2,3}(t_m)b_{3,3}(t_m)\end{array}\right]}^T$$

• GT 与模型预测结果之间的匹配（Hungarian 算法求解）：
  $\hat{\pi }={\mathrm{argmax}}_{\pi \in {\Pi }_G^N}{\Sigma }_i^G({\hat{p}}_{\pi (i)}{)}^{1-\alpha }\cdot (1-L_1(b_i,{\hat{b}}_{\pi (i)}){)}^{\alpha }$

其中，GT的数量是 G，预测出的数量是 N，且 $G<N$；$\pi (i)$ 是与第 $i$ 个 GT相匹配的第 $\pi$ 个预测。