动态规划法的基本知识

一、动态规划方法相关概念
1、20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优性原理(principle of optimality),同时，把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决多阶段决策问题的优化方法------动态规划法。
比如：





2、问题的求解过程可划分为若干阶段，每一阶段的决策仅依赖于前一阶段的状态，由决策所采取的动作使状态发生转移，成为下一阶段决策的依据。从而，一个决策序列(策略)在不断变化的状态中产生，这个过程称为多阶段决策过程。
3、状态转移方程

4、最优决策序列

5、最优性原理

二、动态规划法的设计思想
1、动态规划法适用条件
①满足最优性原理:也称具有最优子结构性质，该问题的最优解中也包含其子问题的最优解。
②重叠子问题:可分解为相互关联的若干子问题，子问题之间不独立，子问题的解在下一阶段决策中可能被使用。
③无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。

2、动态规划方法设计思想
利用最优子结构性质，把整个问题划分成一系列子问题，求各子问题的最优解，然后以自底向上的方式递归地从子问题的最优解构造出整个问题的最优解。
"填表”----构建数据结构，保存各子问题的最优解，以便求整个问题最优解。

3、动态规划与分治法异同
●相同之处:
都是将待求解问题分解成若干个子问题，先求子问题的解，然后通过这些子问题的解获得整个问题的解。
●不同之处:
①分治法:子问题相互独立，否则重复求解，效率低。
②动态规划:各个子问题之间一般具有关联性，为了避免重复计算，动态规划方法对每个子问题仅求解一次，并将其结果"填表”，以后用到时直接存取。
比如：



动态规划法求解斐波那契数列：

①为此避免重复设计，设计一个dp数组，dp[i]存放Fib(i)的值，首先设置dp[1]和dp[2]均为1，再让i从3到n循环以计算dp[3]到dp[n]的值，最后返回dp[n]即Fib1(n)。②其执行过程改变为自底向上，即先求出子问题解，将计算结果存放在一张表中，而且相同的子问题只计算一次，在后面需要时只需要简单查表，以避免大量的重复计算。
③算法的时间复杂度为O(n)，空间复杂度为O(n)
④上述求斐波那契数列的算法属于动态规划法，其中数组dp（表）称为动态规划数组。
4、空间优化方法——滚动数组

• 在动态规划算法中，常用动态规划数组存放子问题的解，由于一般是存放连续的解，有时可以对数组的下标进行特殊处理，使每一次操作仅保留若干有用信息，新的元素不断循环刷新，看上去数组的空间被滚动地利用，这样的数组称为滚动数组（Scroll array）。
• 采用滚动数组的主要目的是压缩存储空间的作用。
  

三、动态规划法的设计步骤
(1)划分子问题(分段) :将整个问题分解为若干子问题，找到问题状态，子问题之间具有重叠(关联)关系;
(2)构建状态转移方程(分析) :关联的状态和状态之间相互转换关系。—动态规划法的关键;
(3)存储状态的值求解(填表): 设计表格(即数据结构)，以自底向上的方式计算各个子问题的解并填表保存，实现动态规划过程。
动态规划过程一般求得问题的最优值(即目标函数的极值)，如果要求最优解，通常在动态规划过程中记录必要信息，再根据依据这些信息构造最优解。
四、动态规划问题的俩种解法
对于有k个阶段的动态规划问题：

• 逆序解法：从第k阶段到第1阶段的求解过程
• 顺序解法：从第1阶段到第k阶段的求解过程

五、动态规划小结

• 适用条件:满足最优性原理(即具有最优子结构性质)且子问题一般具有重叠性;
• 设计思想:利用最优性原理，把原问题划分成一系列子问题，每个子问题属于决策过程的一个阶段，然后以自底向上的方式递归地从子问题的最优解构造出原问题的最优解。
• 求解步骤:①划分子问题;②构建状态转移方程;③存储状态的值求解(填表)。
• 两种解法:顺序解法和逆序解法