The 1st-place Solution for CVPR 2023 OpenLane Topology in Autonomous Driving Challenge

SugerOO

于 2023-07-15 16:58:43 发布

阅读量278

点赞数

分类专栏：论文笔记文章标签： cvpr2023 openlane PETRv2 yolov8

本文链接：https://blog.csdn.net/sugeroo/article/details/131741486

版权

论文笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

文章介绍了赢得CVPR2023openlane拓扑比赛的第一名方案，该方案利用PETRv2进行中心线检测，YOLOv8处理交通元素检测，结合MLP进行拓扑预测。针对中心线检测，通过Transformer解码器预测Bezier曲线控制点。交通元素检测则应用了数据增强、类别重采样和伪标签策略提高性能。拓扑预测部分，分别对车道间和车道与交通元素的连接进行建模。

摘要由CSDN通过智能技术生成

背景

CVPR 2023 openlane 拓扑比赛第一名解决方案：
openLane 的四个子任务：
中心线检测，交通元素检测，中心线和中心线的拓扑，中心线和交通元素的拓扑预测

使用 PETRv2 检测中心线，YOLOv8 检测交通元素，设计了一个简单有效的基于 mlp 的 head 用于拓扑预测。

车道中心线检测

使用 PETRv2 检测中心线，修改了 query 表征用于从中心线的检测。
中心线的表征：使用 transformer 的 decoder 预测 bezier 曲线的 3D 控制点。
query的生成：随件初始化 N 个 lane query，每个lane包括一个 3D控制点，然后对每一个点重复 M 次，最后把这 M 个点 flatten 送进 decoder。

交通元素检测

交通元素检测，使用了 yolov8，使用了几种提升性能的策略：

数据增强：数据集中缺乏前景样本，采用了一些 mixup ， augmentation ，color gamut on HSV。
调整分类 loss 的权重：对于交通信号的定位较准，但分类性能不佳，所以调整了困难样本分类loss 的权重
重采样困难样本：一些类别在数据集中的数量较少，所以重新采样了视频帧。
伪标签：数据集中，当交通元素刚出现在视频中时，尺寸较小，是没有标注的。使用模型生成伪标签可以提升性能。
测试时的增强，将图像 resize道不同的尺寸测试，大尺寸的图像可以提升小目标检测的性能，小尺寸的图像可以提升大尺寸目标的性能。

Lane-Lane Topolog

最后一层 decoded 特征
预测的 lane 坐标，送入 mlp 生成和 decoded 特征相同 shape 的特征，
将两个特征 contact 到一起，然后在送入一个 mlp 生成topology 表示

Lane-Traffic topology

直接使用 yolov8 的输出作为输入，将每个坐标，类别，置信度 concat 到一起，然后投影成 C维的特征向量，输出的 size 为 T x C（根据来看旷视知乎官方号发表的文章来看，这里应该是一个 detr head），lane-traffic 的 topology 特征 NxTxC，最后也是使用一个 mlp 得到结果