OpenLane数据集解析

OpenLane数据集介绍

论文

github仓库

数据集下载链接

官方介绍 OpenLane是迄今为止第一个真实世界和最大规模的3D车道数据集。我们的数据集从公开感知数据集中收集有价值的内容，为1000个路段提供车道和最近路径物体(CIPO)注释。简而言之，OpenLane拥有20万帧和超过88万条精心标注的车道。我们已经公开发布了OpenLane数据集，以帮助研究社区在3D感知和自动驾驶技术方面取得进步。详见 论文。

OpenLane数据集是在自动驾驶领域的主流数据集上构建的。在1.0版本中，我们在Waymo开放数据集上发布了注释。将来我们会更新nuScenes上的注释。OpenLane数据集侧重于车道检测和CIPO。我们注释了每一帧中的所有车道，如果中间没有路边，则包括相反方向的车道。除了车道检测任务，我们还注释:(a)场景标签，例如天气和位置；(b)CIPO，被定义为最受关注的目标w.r.t. ego车辆；除了感知的一整套对象之外，这样的标签对于随后的模块(如规划/控制)是非常实用的。关于坐标系的介绍可以在这里找到。

OpenLane包含20万帧、超过88万条实例级车道、14个车道类别（单白色虚线、双黄色实体、左/右路边等），以及场景标签和路线邻近目标（CIPO）注释，以鼓励开发3D车道检测和更多与产业相关的自动驾驶方法。
如表是OpenLane和其他基准线的比较：

车道线标注（Lane Annotation）

我们用下面的格式注释车道线。

• 车道形状。每个2D/3D车道被表示为一组2D/3D点。
• 车道类别。每个车道都有一个类别，如双黄线或路缘。
• 车道属性。一些车道具有诸如右、左的属性。
• 车道追踪ID。除路缘外，每条车道都有唯一的id。
• 停车线和路缘。

除上述官方说明外，标注内容还包括车辆的pose

关于更多的注释准则，请参考 Lane Anno Criterion.

Lane Annotation的 .json 文件中包含相机内参、外参、车道线类别、每个点的可见性、像素坐标系下点的2D坐标(u, v)、相机坐标系下点的3D坐标(x, y, z)、车道的左右属性、车道的跟踪ID以及文件的相对路径。lane_lines中有k条车道线，对应k组内容数据。

    "intrinsic":                            <float> [3, 3] -- camera intrinsic matrix
    "extrinsic":                            <float> [4, 4] -- camera extrinsic matrix
    "lane_lines": [                         (k lanes in `lane_lines` list)
        {
            "category":                     <int> -- lane category
                                                        0: 'unkown',
                                                        1: 'white-dash',
                                                        2: 'white-solid',
                                                        3: 'double-white-dash',
                                                        4: 'double-white-solid',
                                                        5: 'white-ldash-rsolid',
                                                        6: 'white-lsolid-rdash',
                                                        7: 'yellow-dash',
                                                        8: 'yellow-solid',
                                                        9: 'double-yellow-dash',
                                                        10: 'double-yellow-solid',
                                                        11: 'yellow-ldash-rsolid',
                                                        12: 'yellow-lsolid-rdash',
                                                        20: 'left-curbside',
                                                        21: 'right-curbside'
            "visibility":                   <float> [n, ] -- visibility of each point
            "uv":[                          <float> [2, n] -- 2d lane points under image coordinate
                [u1,u2,u3...],
                [v1,v2,v3...]
            ],
            "xyz":[                         <float> [3, n] -- 3d lane points under camera coordinate
                [x1,x2,x3...],
                [y1,y2,y3...],
                [z1,z2,z3...],

            ],
            "attribute":                    <int> -- left-right attribute of the lane
                                                        1: left-left
                                                        2: left
                                                        3: right
                                                        4: right-right
            "track_id":                     <int> -- lane tracking id
        },
        ...
    ],
    "file_path":                            <str> -- image path
}

CIPO/场景注释（CIPO/Scenes Annotation）

我们用下面的格式注释CIPO和场景。

• 具有代表对象重要性级别的类别的2D Bounding Box。
• 场景标签。它描述了在何种情况下收集该帧。
• 天气标签。它描述了在什么天气下收集该帧。
• 小时标签。它标注了该帧是在什么时间收集的。

更多注释准则，请参考 CIPO Anno Criterion.

{
    "results": [                                (k objects in `results` list)
        {
            "width":                            <float> -- width of cipo bbox
            "height":                           <float> -- height of cipo bbox
            "x":                                <float> -- x axis of cipo bbox left-top corner
            "y":                                <float> -- y axis of cipo bbox left-top corner
            "id":                               <str> -- importance level of cipo
            "trackid":                          <str> -- tracking id of cipo, unique in the whole segment
            "type":                             <int> -- type of cipo
                                                            0: TYPE_UNKNOWN
                                                            1: TYPE_VEHICLE
                                                            2: TYPE_PEDESTRIAN
                                                            3: TYPE_SIGN
                                                            4: TYPE_CYCLIST
        },
        ...                                
    ],
    "raw_file_path":                            <str> -- image path
}

以下是场景标签注释的数据格式。

{
    "segment-xxx":                              <str> -- segment id
    {
        "scene":                                <str> 
        "weather":                              <str>
        "time":                                 <str>
    }
    ...                                         (1000 segments)
}