Collision avoidance for an unmanned surface vehicle using deep reinforcement learning

1无人船避碰阶段

如图1所示。
第一阶段：感知阶段。使用雷达、AIS、激光雷达和视觉传感器等感知传感器进行障碍物检测。利用感知到的信息，获得障碍物的运动信息。
第二阶段：决策阶段。利用障碍物的运动信息做出避免冲突的决策。在这一阶段，USV决定是否有必要采取避碰行动，并在必要时确定适当的避碰行动。如果有必要采取避免碰撞的行动，USV就会进入路径规划阶段。
第三阶段：路径规划。路径规划器决定所需的引导命令来尝试避免行动。
第四阶段：控制阶段。在最后一步中，控制器根据路径规划阶段生成的制导命令，计算每个执行器执行避碰动作所需的控制输入。

本文工作集中在决策阶段。然而，在对无人船进行避碰仿真和实验的过程中，还必须考虑其他三个阶段。为此，在路径规划阶段，我们采用速度障碍路径规划方法velocity obstacle path planning method，在控制器上，我们设计了一个基于比例积分微分(PID)的转向和速度控制器a proportional–
integral–differential (PID) based steering and speed controller来跟踪制导指令。
在船舶避碰决策阶段，应考虑制定国际船舶避碰规则，根据所遇到的情况确定适当的避碰行动。本节其余部分将介绍该规例的背景概念。

2国际海上避碰规则COLREGs

国际海上避碰规则(COLREGs)是国际海事组织(IMO)在1972年制定的一套海上船舶操作的强制性规则。COLREGs规定了每次遇到情况的让路船the give-way vessel和站船the standon vessel，以及避免碰撞的理想方向。由于COLREGs是一套国际公认的规则，与国际海事法律密切相关，因此有必要基于COLREGs制定无人驾驶船舶的行动计划，以确保海上安全。以下是COLREGs的代表性规则，这些规则通常用于船舶在各种遭遇情况下的避碰(见图2)。

正面相遇情况Head on situation
在正面相遇的情况下，自己的船和障碍船互相接近，两艘船都有责任通过执行转向机动来避免对方。(COLREGs第14条)

会船本船右舷越过让行Crossing (give way)
在交叉(让道)情况下，障碍船从本船右舷starboard side of the own vessel越过。在这种情况下，障碍船为立船，立船无避碰义务。本船必须采取适当的避让行动(让道)以避免潜在的碰撞。根据COLREGs规定，自己的船不能越过另一艘船的移动方向。在这种情况下，自己的船必须转向右舷以避免碰撞。(COLREGs第15条)
会船本船直行通过Crossing (stand on)****
在交叉(站立)情况下，障碍船从本船的左舷侧通过。在这种情况下，障碍船是让路船，必须采取适当的行动，以避免潜在的碰撞。但是，如果让道船舶没有采取适当的行动，即使是“站在”船舶，自己的船舶也应采取适当的避碰行动，以防止碰撞。(COLREGs第17 (a)条)
超船情况Overtaking
在本船超车的情况下，本船为让路船，障碍船为在岸船。COLREGs超车规则(第13条)没有明确规定任何理想的避车方向。因此，左舷或右舷的避动方向都是允许的。

3速度障碍路径规划（Velocity obstacle path planning）

在本研究中，利用速度障碍VO，velocity obstacle算法进行避障路径的规划。VO方法是机器人领域中用于安全避障路径规划的常用方法。

在速度障碍法中，速度障碍𝑉𝑂是在考虑可选择的速度中移动障碍物的相对速度时引起碰撞的一组速度。表示为数学方程：

其中运算符⊕指的是Minkowski求和运算

运算符-指的是

根据式(1)，假设障碍物定义为圆盘状，则式(1)可表示为式(2)，其中𝐷(𝑥，𝑟)表示圆盘半径𝑟，中心位置矢量𝑥。

一旦使用公式（2）计算出速度障碍集，通过选择违反COREG的VO和速度集之外的速度矢量，就可以计算出安全的引导指令。在Kuwata等人（2014）的工作中，利用了速度空间网格中的优化技术来确定最佳速度和航线角度。

参考文献
Collision avoidance for an unmanned surface vehicle using deep reinforcement learning