本笔记对应教材中1.3节的内容,这一章所有的例子都围绕前面二节所讲的动态规划算法的核心公式:
前两期的回顾,没有看或者忘记的童鞋可以复习一下:
王源:【强化学习与最优控制】笔记(一)确定性问题的动态规划
王源:【强化学习与最优控制】笔记(二)随机性问题的动态规划
1 最短路问题
最短路问题定义:在一个图中求2个节点之间最短的路径。
最短路问题一般需要假设图中所有的圈的路径非负。因为如果有负的圈的话一直在这个圈子里绕就可以让路径趋于无穷小。
如上图中(a)所示是给出的无向图,节点5是我们的终点,节点1,2,3,4是起点。在这个最短路问题中比较关键的问题是如何定义stage?
定义为从节点
出发经过N-k个节点到终点
的最优路径长度,其中N为总节点数,
由此可得DP的递推公式
(1.1)
(1.2)
这里需要注意的是因为最短路径所经过的节点数我们事先并不知道,如果拿经过节点数目作为stage的数目的话是比较困难的。因此我们在式(1.1)的
集合中除了要包含和节点
相连的所有节点