动态规划

动态规划

动态规划法是一种常用的系统分析方法，用来求解多阶段决策问题的最优解。它适用于具有明显阶段性的问题，其基本思想是：根据时间和空间特点，将规模较大的复杂问题划分为规模较小、较为简单的相互联系的若干个子问题（阶段），按顺序求解各个子问题，对每个子问题都根据其当前状态作出决策（即求出解），前一子问题的解作为下一子问题的初始状态。依次解决各个子问题，最后一个子问题的解就是原始问题的解。

在对每一子问题求解时，根据前一子问题所提供给的初始状态，按问题要求列出各种可能的解，通过决策选择出最优解。在一个多阶段决策过程中，每个阶段的决策必须是基于当前状态（由前一阶段产生）的、能够达到最优效果的最优策略。同时，它又作为下一阶段的初始状态。这些决策形成了一个决策序列，同时确定了完成整个问题（即求解原始问题）的一条最优的活动路线。因为决策序列是在变化过程中产生的，故称为“动态规划”。

采用动态规划方法求解的问题必须满足“最优子结构”性质。所谓最优子结构是指问题的最优解包含了子问题的最优解。它是动态规划方法的理论基础。所谓最优子结构性质是指可以将求原始问题的最优解转化为求子问题的最优解。动态规划的多阶段决策过程就是把复杂问题分解为若干个相互联系的子问题（阶段）并动态地作出决策（即求出它们的最优解）。这些子问题之间是相互有关联的即是不独立的，常常包含有公共子问题。这些公共子问题在以后阶段决策中可能多次被用到。为了节省重复求解子问题的时间，对每个子问题都只求解一次并将结果存于一张表（数组）中（不管它在后面阶段是否用到），以避免每次遇到相同子问题时再重新求解。这是动态规划中的一个基本方法。这里需要存储的不仅有子问题的结果，更重要的是存储子问题本身。子问题的存储是最重要也是最复杂的。它们也就是决策过程中的所谓“状态”。动态规划法的设计内容和一般步骤如下。

（1）划分阶段

按照问题的时间或空间特征，把问题划分为若干个阶段（子问题），且这些阶段应是有序的或可排序的，即可按照顺序求解，否则就不适合使用动态规划法。

（2）选择状态

将问题发展到各个阶段时所处的客观状况用状态表示出来，且这些状态必须满足无后效性。无后效性也称为无后向性，是一个问题能够使用动态规划求解的标志之一。它的含义简单来说就是“未来与过去无关”，当前状态是此前历史的一个完整总结，此前历史只能通过当前状态去影响未来的演变；未来状态的任何变化都不会影响到之前的状态。

（3）确定决策

依次研究相邻两个阶段状态与状态之间的关系，确定达成状态转移的决策方法和转移过程（称为状态转移方程）。状态转移方程通常是一个递推公式，获得这个递推公式是解决问题的关键之一。

（4）确定边界条件

对状态转移方程要确定递推的初始条件和终止条件。动态规划是一种用途很广的问题求解方法，但它本身并不是一个特定的算法，而是求解最优化问题的一种思想、一种途径、一种方法。它不像其他算法那样，有一个标准的数学表达式和明确清晰的解题方法。动态规划法往往只针对一种最优化问题。由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划方法对不同的问题。有各具特色的解题方法，而不存在一种万能的动态规划算法。因此，读者在学习时，除了要对基本概念和方法正确理解外，必须具体问题具体分析处理，以丰富的想象力去建立模型，用创造性的技巧去求解。