动态规划算法

引言

  动态规划是求解多级决策过程最优化的一种数学方法。所谓多级决策过程，是指把一个过程分成若干阶段，每一阶段都作出决策，以使整个过程取得最优效果。通过对多级决策问题的讨论，可以初步了解动态规划的思想和方法[1]。通俗地讲，就是在当前状态的关口，如何做出下一步决策，就好比你处于迷茫状态的关口，下一步你有很多选择，如果你能够知道在当前状态下几个选择中收益最大的那个，选择了它之后在不久的将来能够当上CEO，赢取白富美，你肯定会毫不犹豫地作出选择。在众多动态规划问题中，最短路径问题是多级决策的一个典型例子，用这个阐述相信大家很快就能学会。

最短路径问题

  其实路径规划还是我上最优控制这门课的时候了解到的算法，所以引用考研朱伟老师的话“少一些功利主义的追求，多一些不为什么的坚持”，只要你觉得有意思或者是有那么一点点用的东西，趁年轻学它吧！在控制中动态规划是为了求解类似最优状态调节器问题而引入的算法，虽然我去上最优控制这门课的次数不多，但每次我觉得有意思的内容我都会搞懂，在此要感谢我校的陈晖老师！！接下来由一个书中的最短路径问题讲解动态规划的思想：



  引用书中的话，假设$N$为多级决策过程中的级数，如图4-1中现处于C级还剩下3级决策则$N=3$；$x$表示任一级所处的位置，称为状态变量；$S_N(x)$为决策变量，表示状态$x$以后还有$N$级时，所选取的下一个点；$J_N(x)$表示状态$x$到$N$级决策的最短距离，$d(x,S_N)$表示从状态$x$到到$S_N$的距离，对于图4-1的问题，用动态规划的方法是从后往前做决策，从$E$级开始算起，这级有两个状态，$E_1$和$E_2$，则
第一步：
$$J_1(E_1)=1$$ $$J_1(E_2)=2$$ 第二步：
$$J_2(D_1)=min\left\{\begin{array}{r}{J}_1(E_1)+d(D_1,E_1)=4+1\\ J_1(E_2)+d(D_1,E_2)=2+2\end{array}\right\}=4$$则处于$D_1$级时最优选择是$E_2$，因此$S_2(D_1)=E_2$
J 2 ( D 2 ) = m i n { J 1 ( E 1 ) + d ( D 2 , E 1 ) = 6 + 1 J 1 ( E 2 ) + d ( D 2