基于马尔可夫决策过程的运动规划-学习记录

0.前言

        时间紧迫,来不及再敲一遍,直接上图,字写的比较丑…希望不会影响理解内容,中间可能会有一些记录不够清楚的地方,请留言讨论.

1.规划中的不确定性(Uncertainites in Planning)

2.不确定性下的规划(Planning with Uncertainites)

        2.1 Decision Makers(Game Player)

        2.2 Game的两种分类

        2.3 两种不同的解法: Worst-Case-Analysis, Expected-Case-Analysis

        2.4 在多步情况下的正式定义

3.马尔可夫决策过程(Markov Decision Process)

        3.1 MDP介绍

        3.2 MDP做规划的相关定义

4.极大/极小代价函数的规划(Minimax Cost Planning)

        4.1 相关描述

        4.2 递归关系寻找过程

        4.3 算法1:Nondeterministic Dijkstra

        思考问题可以参考CMU的机器人决策规划课程的课件：Planning under Uncertainty: Minimax Formulation.

        4.4 算法优缺点

5.期望价函数的规划(Expected Cost Planning)

        5.1 相关描述

        5.2 递归关系寻找过程

        5.3 算法2: Value Iteration

        5.4 算法优缺点

6.实时动态规划(Real Time Dynamic Programming)

7.参考引用

         1.深蓝学院<<移动机器人运动规划>>;
         2.CMU课程《Planning & Decision-making in Robotics》部分课件：Planning under Uncertainty: Minimax Formulation.