动态规划简介及基本思想

简介

动态规划(Dynamic Programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。
20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)

在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。
各个阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展，
这种把一个问题看作是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问题就称为多阶段决策问题。

基本思想

动态规划算法通常用于求解具有某种最优性质的问题。
在这类问题中，可能会有许多可行解。
我们希望找到具有最优值的解。
基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。

动态规划问题的特征

动态规划算法的有效性依赖于问题本身所具有的两个重要性质：
最优子结构：
当问题的最优解包含了其子问题的最优解时，称该问题具有最优子结构性质。
重叠子问题：
动态规划算法的有效性依赖于问题本身所具有的 两个重要性质：
最优子结构：
重叠子问题：
在用递归算法自顶向下解问题时，每次产生的子问题并不总是新问题，有些子问题被反复计算多次。动态规划算法(自底向上)正是利用了这种子问题的重叠性质，对每一个子问题只解一次，而后将其解保存在一个表格中，在以后尽可能多地利用这些子问题的解。

动态规划的基本概念

1. 阶段和阶段变量：
2. 状态和状态变量：
3. 决策、决策变量和决策允许集合：
4. 策略和最优策略：
5. 状态转移方程：

设计动态规划法的步骤

1.找出最优解的性质，并刻画其结构特征；
2.递归地定义最优值（写出动态规划方程）；
3.以自底向上的方式计算出最优值；
4.根据计算最优值时得到的信息，构造一个最优解。

步骤1～3是动态规划算法的基本步骤。
在只需要求出最优值的情形，步骤4可以省略；
若需要求出问题的一个最优解，则必须执行步骤4。