论文解读——A Belief State Planner for Interactive Merge Maneuvers in Congested Traffc

论文解读——A Belief State Planner for Interactive Merge Maneuvers in Congested Traffc

参考资料来源：《A Belief State Planner for Interactive Merge Maneuvers in Congested Traffc》一文

注：这篇文章是关于POMDP方法求解在狭窄车道上合并问题，本文重点在于建模过程，求解过程先略过（学会之后考虑补充一手）

1.POMDP描述

在马尔可夫决策过程(MDPP)的基础上，部分可观测马尔可夫决策过程（POMDP）考虑的环境的部分客观性，即智能体不能准确地得到所有的环境状态，例如无人驾驶汽车无法通过环境感知系统直接得到其他汽车的驾驶意图等。部分可观测马尔可夫决策过程可以形式化地表示为一个六元组，其中状态集合、动作集合、状态转移函数和激励函数的定义与马尔可夫决策过程相同，MDP所不具备的观察集合和观察函数用以描述环境状态的部分可观测性。

2.POMDP建模过程

2.1 状态空间

状态空间为$\chi$,其中${\chi }_0$为自动驾驶车辆，${\chi }_K$为相邻车道或者同一车道上的车辆状态

其中${\chi }_0$依次由纵向位置、横向位置、纵向速度和所属车道构成

${\chi }_K$依次由纵向位置、纵向速度、所属车道和是否Yield构成（其中该文章假设其他车辆不变道，所以其横向位置一直为0，是否Yield由2.7所提出的分类器决定）

2.2 动作空间

自动驾驶车辆：纵向加速度+横向速度
其他车辆：纵向加速度

2.3 转移模型

其中$w_{lane}$为车道宽度

2.4 IDM模型

针对其他车辆运动模型，该文章使用IDM模型生成纵向加速度，与传统的IDM模型相比，后面加一项噪声，表示驾驶员的偏好程度。

2.5 观测量

没有是否Yield项

2.6 Reward Function设计

奖励函数设计如上

$r_{vel}$ 推荐速度项：用偏离推荐速度的程度来衡量

$r_{wronglane}$ 错误换道项：-600

$r_{endlane}$ 末态项：在最后50m处，-1000~0线性增加

$r_{center}$ 中心线项：用偏离中心线的程度来衡量

$r_{act}$ 加速度项 ：希望加速度小一点

$r_{coll}$ 碰撞项 ：碰撞直接给$-1000000$

2.7 Yield分类器

根据数据，训练逻辑回归分类器，输入特征向量为如上。和自动驾驶车辆速度，前车速度，间距等因素有关。