百度Apollo学习笔记（3）——规划技术

1.强化学习

  强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

2.约束条件

• 交通规则（必须遵守）
• 决策（如是否超车等）
• 最佳路径

3.3D优化问题

  迭代优化。最大期望算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin算法。缺点在于只能收敛到局部最优解，但对于无人驾驶的路径规划也是足够使用的。

优化关键步骤

• 确定目标
• 设定约束
• 求最优解

4.百度Apollo路径规划策略

4.1 Planning DP（动态规划）

• 道路点采样
• 路径生成
• 最优化路径

4.2 Planning 2.0 Path QP（二次优化）

• 问题抽象：建立平滑的自然坐标系（SL）
• 模型建立：确定合理优化目标函数和约束条件
• 优化求解：利用二次优化求解带约束的二次规划问题

4.3 Planning Speed DP（动态规划）

• 问题抽象 ST图：停车、避让、超车、限速等
• Cost函数：障碍物、路径曲率、主车状态
• 规划求解：Dp最优化Cost

5.优化方法

• 动态规划
• 二次规划
• 组合优化

6.路径规划方法

• RRT
• Lattice
• PRM