基于马尔可夫决策过程的运动规划MDP

机器人路径规划时受到的uncertainty problem

1、Nondeterministic 机器人可能会打滑，偏移

2、Probabilistic 机器人传感器传感器的不确定性

下面展示的是一个基本的MDP问题，X是状态，U是控制量，θ是扰动（会影响后面的概率），L是cost function。跟常见的状态方程相比，多的是一个cost function L(X,U,θ)。

 下面是核心的公式

 下面是伪代码，主要的思路是从终点开始算到起点的路径，跟Dijkstra没什么区别

 后面有一个例程，可以走一遍这个伪代码。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------分界线

------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 

 Expected Cost Planning

核心公式

伪代码

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------分界线

------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 

Real Time Dynamic Programming