- 会议：ICRA 2023
- 作者：丁文超团队
- 带读方式：对重要部分进行了简要概括，对一些部分提出了疑问，欢迎大家一起讨论
- 背景：无图模式下路口规划复杂
摘要：
摘要：于通过使用深度神经网络融合激光雷达点云和相机图像等各种传感器输入来感知道路结构的文献。 利用神经架构师（例如 Transformer）和鸟瞰图（BEV）表示的最新进展，道路认知准确性不断提高。 然而，在没有明确定义的“道路”的情况下，如何认知自动驾驶汽车的“道路”仍然是一个悬而未决的问题。 例如，如何在没有高清地图的情况下找到十字路口内的路径是很困难的，因为既没有“道路”的明确定义，也没有车道标记等明确的特征。 本文的想法来源于一句谚语：人走在上面，它就成为一种方式。 虽然传感器读数中没有“道路”，但其他车辆的轨迹却有“道路”。 在本文中，我们提出了 FlowMap，一种基于交通流的自动车辆路径生成框架。 FlowMap 是通过扩展我们之前的工作 RoadMap [1] 构建的，RoadMap 是一个轻量级语义地图，带有一个额外的交通流层。 提出了一种基于交通流场（TFF）的路径生成算法来生成类人路径。 所提出的框架使用现实世界的驾驶数据进行了验证，并且可以在不使用高清地图的情况下为超级复杂的交叉路口生成路径。
图1
作者表示对于没有明确定义道路接口的场景下认知道路是困难的，作者提出来一个思想就是”“本来没有道路，走的多了就有了路“，所以说作者通过读其他车辆的轨迹进行跟踪处理，提出了一种基于交通流的自动车辆路径生成框架FlowMap，可以在不使用高清地图的情况下为超级复杂的交叉路口生成路径。
一、简介
为了在城市环境中实现自动驾驶，高清地图(HD地图)因其丰富的语义和几何信息而成为一种常见和可行的解决方案。然而，高清地图很难以负担得起的成本大规模维护[2]。没有高清地图的自动驾驶，即无人驾驶，如今正受到人们的过度关注。有大量关于使用深度神经网络在线感知地图元素的文献[3]-[6]。由于神经网络架构师的最新进展，如变压器和鸟瞰表示(BEV)，道路认知的准确性继续提高。然而，当传感器读数中没有特征(如车道标线)时，很难感知“道路”。例如，在没有高清地图的大十字路口内寻找可行驶的路径是一项具有挑战性的任务[7]。
人类驾驶员不会仅仅根据车道或道路标记来驾驶。 当人类驾驶员来到未知的地方时，他们倾向于追踪其他人类驾驶员的踪迹。 俗话说“人走就成路”，人走就成巷。 然而，简单地跟随领先车辆是很麻烦的，因为没有对环境的全局拓扑理解。从日常点对点驾驶中可以挖掘更多信息。 例如，假设您的日常驾驶路径中有一个大十字路口。 当您多次经过十字路口时，十字路口的交通流量可以累积起来，如图 3a 所示。 交通流由车载跟踪模块产生的许多车辆轨迹组成。 交通流包含丰富的驾驶行为，有利于路径规划。
RoadMap [1]是我们之前的工作，为生成轻量级语义地图[8]-[10]提供了系统的解决方案。 借助 RoadMap，可以轻松获取交通流量。 它们可以通过使用附加的交通流层扩展 RoadMap 来获得。 交通流层主要包含来自车载跟踪的社交车辆轨迹。 关键是如何合理管理、组织和利用交通流。 在本文中，我们建议使用交通流场（TFF）来模拟交通流的累积和更新。 TFF 是通过计算每个单元的流量密度和方向合成的离散网格图。 网格图由多个通道组成，每个通道代表源自特定入口点的流量。 多通道设计确保来自不同方向的流量不会相互干扰。 语义图和TFF都只包含标量信息，并且易于维护。
所提出的交通流场表示包含有关多模式人类驾驶行为的大量信息，但它是非结构化的。 为了便于规划和控制，我们提出了一种路径生成算法，从交通流场中提取类人驾驶路径。 基于该算法，即使在道路标记很少的大开放空间中也可以生成引导路径。
总而言之，我们提出了 FlowMap，一个使用交通流在开放空间中生成路径的框架。 FlowMap主要由交通流场表示和建立在其之上的路径生成算法组成。 FlowMap 即使在大型开放空间中也能生成引导路径，并在没有高清地图的情况下实现类人驾驶。 主要贡献总结如下：
- FlowMap，一个轻量级框架，无需使用高清地图即可在开放空间中生成路径
- 交通流场表示，用于根据交通流对驾驶行为进行建模。
- 路径生成算法根据交通流场在开放空间中生成类人引导路径。
- 全面分析现实复杂场景下的整体框架。
本文的其余部分安排如下。 第二节回顾了相关工作。 第三节概述了拟议框架。 第四节和第五节分别详细介绍了方法和实施。 第六节详细阐述了实验结果和基准分析。 最后，第七节对本文进行了总结。
这部分主要介绍了背景和贡献，因为高精地图很难以承受的成本进行大规模维护。 无高清地图的自动驾驶，即无图自动驾驶，如今受到关注。
贡献主要包括：
- FlowMap，一个轻量级框架，无需使用高清地图即可在开放空间中生成路径
- 交通流场表示，用于根据交通流对驾驶行为进行建模。
- 路径生成算法根据交通流场在开放空间中生成类人引导路径。
- 全面分析现实复杂场景下的整体框架。
二、相关工作
在自动车辆的道路认知和路径规划方面有大量的文献。道路认知问题首先通过图像空间中车道标线的2D检测来表示[11，12]。为了提高2D检测过程中车道结构的保持性，在文献[13]中提出了一种基于EL-GaN的框架。飞利浦提出了FastDraw[14]，这是一个完全卷积的车道检测模型，它学习在透视图中解码车道结构，而不是将结构推理委托给后处理。在2D检测后，需要深度信息来将2D车道检测结果重新投影到3D，从而获得可行驶的路径。车道标线是基于二维检测的方法的关键，对车道检测结果的准确性有很大影响。对于没有车道标线的空地，车道检测问题是不适定的。
近年来，诸如transformers[15]-[17]等神经架构的进步推动了道路认知表现的极限。目前的趋势是将车道预测问题直接以鸟瞰(BEV)表示的形式建模，并使用多头注意力从透视图或激光雷达点云中正确地找到相应的特征。文献[4]提出了一种语义地图学习方法--HDMapNet。HDMapNet编码来自周围相机和/或来自LiDAR的点云的图像特征，并预测BEV中的矢量化地图元素。在文献[3]中，提出了一种基于变换的语义学习方法，用于同时检测目标和分割道路结构。对于具有明确特征的区域的道路认知问题，比原来的2D公式要好得多。然而，如何在没有明确的特征可供神经网络提取的地方找到“道路”仍然是一个悬而未决的问题。
在空地上寻找“道路”本身就是一个规划问题。具体地说，道路认知问题可以建模为在检测到的道路拓扑和障碍物的约束下的路径搜索或优化问题。输出路径应该是无碰撞的，并遵循感知的路缘和边界。状态格[20，21]上的混合A∗搜索[18，19]是一种流行的路径搜索选项，可以追溯到DARPA城市挑战赛2007年。通常，结合像弹性带[22，23]这样的基于优化的方法来补偿状态点阵的离散化并提高整体平滑度。然而，无碰撞并不是自动车辆可驾驶路径的唯一要求。要实现社会顺应的自动驾驶，人类的相似性是一个重要的制约因素，但并没有得到太多的重视。交通流量是人类相似性的关键，因为它包含了其他车辆如何驾驶的有用信息。
这篇论文的灵感来自于一句谚语：当人们走在上面，它就变成了一种方式。要实现类似人类的自动驾驶，提取其他车辆的驾驶模式是必不可少的。由于高清地图非常流行，所以这个问题并没有引起太多的关注。从高清地图中，可以很容易地访问参考路径。然而，如何以负担得起的方式高效地维护和更新高清地图仍是一个悬而未决的问题。在没有高清地图的情况下，其他车辆如何驾驶是实现仿人驾驶的关键。提出了一种融合交通流的开放空间路径生成方法。交通流在某种程度上类似于占用网格和占用流[24]-[26]。然而，占用流是为短期行为预测而设计的，而FlowMap则是为生成长期可驾驶路径而设计的。
跳过这部分带读。。。。。。。。。。
三、框架概述
图2描述了FlowMap的概况。该框架由三个主要组件组成：具有附加交通流管理功能的轻量级语义映射模块、交通流场生成模块和在线路径规划与平滑模块。整个系统不仅解决了如何以负担得起的方式维持车流的问题，而且提供了支持离线车流处理和在线路径生成的算法和方法。
FlowMap框架构建在我们之前的工作Roidmap之上。路线图提供了一个轻量级的语义映射框架。该算法以车辆稀疏的语义点云为输入，将其融合成全局轻量级语义地图。除了语义点云之外，我们还在路线图中增加了交通流量管理功能，它本质上是将车载检测和跟踪结果与语义点云一起维护。然后将交通流和语义点在云中进行融合，在云中以交通流场的形式对交通流进行进一步处理，从而便于路径规划。在特定自动车辆进入感兴趣区域(ROI)时触发的在线过程中，车辆可以借助云中的交通流场生成一条类似人类的驾驶路径。路径生成过程同时考虑了交通流趋势、语义地图和驾驶舒适性。
图2
这部分主要介绍了 FlowMap框架，如图2所示，首先，路线图扩展了一个额外的交通流管理器，并将交通流与语义图(左)一起存储。其次，将交通流场合成为交通流场，使用颜色梯度(中间)表示。第三，基于语义地图和交通流场(右)进行在线路径搜索。
四、使用交通流生成路径
在这一部分中，我们首先介绍了交通流的公式和获取交通流的技术。然后详细阐述了如何将交通流转化为交通流场，从而方便了在线规划过程。最后，给出了在线路径规划过程，包括在线路径搜索阶段和跟踪路径优化阶段。
A. Traffic Flow
车流的输入来自车载车辆跟踪模块。将bti=(p，L，w)表示为在时间戳t具有id i的特定被跟踪车辆的跟踪结果，其中p=(x，y，θ)表示被跟踪包围盒的中心坐标和方向，L，w分别表示包围盒的长度和宽度。设Bv表示车辆v在所跟踪的所有时间戳中的路径。表示F={bv|v∈V}为所有观察到的车辆轨迹的集合，并表示V为车辆跟踪id的集合。请注意，痕迹可以由一辆车或一支车队在不同的空间和时间获得。图3A中显示了F在特定交叉口的一个例子。
流量生成是轻量级的，并且仅依赖于车载跟踪。然而，有三个主要问题。首先，由于遮挡，许多观测到的轨迹寿命很短。第二，存在感知错误，并可能导致异常轨迹，如轨迹漂移或与障碍物相撞。第三，存在包含有限信息的静止或短轨迹。
为此，需要对F进行过滤，以使其仅包含高质量的车辆痕迹。过滤过程基于四个标准执行：轨迹的寿命；轨迹的总距离；异常漂移的存在；与障碍物的碰撞；以及我们只保留相对于感兴趣区域具有明确入口点和出口点的轨迹。过滤后，每个轨迹BV被标记为元信息MV=(Lentry，LExit，PStart)，其中Lentry和LExit表示与轨迹相交的ROI(在路线图中被参数化为多边形)的对应边缘，PStart表示Lentry的交点。我们将含有额外元信息的业务流表示为F‘={(BV，MV)|v∈V}。
这里主要介绍了Traffic Flow的具体形式，是一个包含时间空间的轨迹，但是通过车辆跟踪模块获得的轨迹质量是不高的，需要对Traffic Flow进行过滤，作者介绍了过滤的标准，过滤后F就仅包含高质量的车辆轨迹了。
B. Traffic Flow Field Generation
F本质上是按空间位置组织的一组车辆轨迹。使用F进行路径生成并不简单，因为没有构造显式结构。为此，我们提出了一种基于F的交通流场G，它将车流密度和车流方向信息封装在多通道网格地图中。然而，直接在网格地图上呈现F(如入住率流表示[24])对规划并不友好，因为来自不同方向的流会相互干扰。更糟糕的是，来自不同方向的流动往往是不平衡的。
为了克服这个问题，我们通过按进入目标、退出目标和进入点对 F ′ 进行分组。在算法 1 中引入了预处理算法。首先，给定包含 ROI 多边形的入口边 lentry 和出口边 lexit 的每条迹线的元信息 mv，根据边生成目标指数 gin、guout，并根据 gin 和 gout 对对 F ′ 进行分组（第 3 行）。其次，对于每个组，通过聚类获得多个入口点 pe（第 5 行）。PE 表示每条迹线的通道级标识。第三，按入口点进一步对流量进行分组，得到F′<gin，guout，pe>。F′<gin，gout，pe>可以理解为由条目“lane”索引的流量子集。提取车道级信息的原因是，即使具有相同的入口和出口目标，交通流中也存在内在的多模态性。预处理的典型示例如图 3 所示。
图3
多亏了算法1，流量现在被很好地组织起来。我们将G设计为具有多通道结构，每个通道代表来自特定入口点F‘&t；Gout、Pe>；的流量。对于每个通道，我们构造一个2D网格，其中每个单元包含一个元组fi，j=(d，δi，δj)。D表示密度(通过单元格的车辆数量)，δi，δj表示单元格i，j处的平均方向。图4B中示出了G的一个通道的玩具示例。
多通道交通流场构成了一种优雅的结构，以编码类似人类的驾驶行为。我们为每个ROI多边形维护一个单独的网格。根据空间位置对全球交通流场进行索引，并与路线图一起维护。为了能够连续更新交通流场，先进先出(FIFO)队列与每个ROI相关联。当观察到新的车流时，一些旧的车流将消失。通过该机制，我们确保了交通流字段的最新更新。
此外，一旦观察到交通流场的显著变化，这通常是由道路建设和道路改道引起的，交通流场生成过程将生成地图更新触发器，然后将其发送到路线图。我们发现，基于交通流的更新触发器对于检测道路路线的变化非常有用，可以作为轻量级地图的重要补充。图5B给出了一个典型的例子。我们将交通流更新和交通流场生成过程集成到路线图中。与原有的语义地图构建过程相比，流量更新过程消耗的带宽要少得多，并且不会显著增加地图维护成本。
F本质上是按空间位置组织的一组车辆轨迹。使用F进行路径生成并不简单，因为没有构造显式结构。为此，作者提出了一种基于F的交通流场G。
我这里理解G主要是通过汇入汇出车道对F进行分组，这样就构成了通道结构 ，为了能够连续更新交通流场，先进先出(FIFO)队列与每个ROI相关联。当观察到新的车流时，一些旧的车流将消失。通过该机制，我们确保了交通流字段的最新更新。
此外，一旦观察到交通流场的显著变化，这通常是由道路建设和道路改道引起的，交通流场生成过程将生成地图更新触发器，然后将其发送到路线图。
我没太理解这样做的好处，因为第一个RoadMap [1]我还没有读，这样我理解就是记忆行车的一个架构？或者说是路口记忆行车，第一次通过的话对行车有帮助吗，按照丁文超老师的逻辑的话对路口进行道路连接处理，更新道路连接图，在道路连接图里进行采样也是可以的吗？
C. Online Path Generation
在本节中，我们将介绍路径搜索算法，该算法基于多通道流量场 G，如算法 2 所示。路径搜索算法是按通道（第 3 行）执行的。对于每个通道，我们首先搜索基于最大密度的初始猜测（第 5 行）。然后使用初始猜测 linit 来构建 frenet 框架 [27] 以供以后处理。基于frenet框架表示，对纵向站（6号线）和每个纵向站（8号线）的横向聚类进行采样。动态规划基于纵向站和横向聚类（第 11 行）进行，其中边和节点成本由相对于 Gz 的匹配质量决定。 由于篇幅所限，省略了对动态规划的详细描述，我们建议感兴趣的读者参考 [20] 进行类似的实现。动态规划算法产生多个潜在的候选路径，并利用非最大抑制过程来删除几乎重复的候选路径。搜索过程的一个示例如图4c所示。
图4
算法 2 的输出由源自每个入口通道的路径组成。由于网格的离散化，路径不够平滑，无法控制。为此，我们利用基于二次规划（QP）的局部路径平滑[28]来平滑路径。请注意，[28] 是为轨迹优化而设计的，我们稍微重新表述了它以进行路径平滑。图4d给出了路径平滑过程的示例。
五、实施细节
A. 交通流预处理
在交通流过滤中，仅保留相对于 ROI 面具有清晰入口和出口点的车辆轨迹。为了过滤与路线图映射的静态障碍物碰撞的轨迹，我们首先根据 RoadMap 提供的语义构建一个 2D 网格。网格分辨率为 0.2 m，填充网格时障碍物会膨胀一半车辆宽度。在入口点聚类过程（第 5 行，算法 1）中，由于 ROI 多边形在某些情况下不准确，因此车辆轨迹可能不垂直于 lentry。我们细化了 ROI 多边形的边缘，使其垂直于平均流动方向。
B. 交通流字段
G 的分辨率为 0.2 m。每个单元格都跟踪 fi，j = （d， δi， δj）。通过计算与单元重叠的车辆轨迹数来计算 d。请注意，使用边界框而不是中心点来计算 d。对于 δi 和 δj，它们是与单元重叠的所有迹线的平均方向。G 的通道数取决于聚类的入口点总数。G的存储利用其稀疏结构来节省带宽。
C. 在线路径生成
对于初始猜测搜索（第 5 行，算法 2），我们从每层的入口点开始，并使用动态规划来搜索与 Gz 最匹配的路径。对于初始猜测搜索，我们有两个加权成本，即密度成本和方向成本，它们惩罚进入低密度区域或与场方向不匹配的路径。车站采样（6 号线）的分辨率设置为 3 m。横向聚类策略（第 8 行）类似于入口点聚类。另一个动态规划搜索是在 11 号线，它建立在由采样站和横向聚类形成的图上，其中 Gz 用于成本评估。在进行非最大抑制（第 12 行）时，我们首先按其成本对候选路径进行排序，通过动态规划对输出进行排序，然后从成本最低的路径进行迭代。抑制标准基于到先前路径的最小横向距离大于 2 m 的站点的百分比。如果路径包含超过 20% 的站点，这些站点具有显著的横向差异，则该路径将被视为新的候选路径。
扫一扫
3766
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
