车道线检测之3D车道线检测

《3D-LaneNet: End-to-End 3D Multiple Lane Detection》

可参考文献：https://mp.weixin.qq.com/s/QauztOcpzia6OLCkm8m4wg

坐标系定义

有相机坐标系Ccamera和道路坐标系Croad，作者假定两个坐标系的roll和yaw一致，仅存pitch的差异，那么，两坐标系之间的转换关系Tc2r将由h_cam和camera pitch确定，其中，h_cam和camera pitch由模型预测。

模型IO

输入为相机采集的图像，输出分为2部分，第一部分为h_cam和camera pitch，第二部分为道路坐标系Croad下的车道线，每条车道线由Croad下的K个点表示。

模型结构

输入图像由two parallel steams or path-ways提取特征，分别是image-view pathway和top-view pathway，叫dual-pathway backbone。

image-view pathway输出的参数camera pitch和camera height作为构成Tc2r（将图像变为鸟瞰图的变换矩阵），这个操作有projective transformation layer完成。

top-view pathway输出的车道参数。作者采用基于Anchor的思想，输出为一个3*（2k+1）*1*N的矩阵。其中，N表示anchor个数，等于w/8，3表示每个anchor输出3种类型的车道信息，分别有{c1, c2, d}表示，对于每种类型的车道信息，由1个confidence和k个点表示，每个点包含2个信息，用表示。x表示该点在道路坐标系中，相对于anchor的水平偏移，z表示z轴的坐标值，每个点的y坐标事先定义，为一组固定的值。

其中，d表示land delimiter, c1表示左边的centerline，c2表示右边的centerline，如下图所示。

训练

对于车道类型，用交叉熵损失函数，对于坐标，用L1损失函数。