动态规划

一、动态规划的基本思想
动态规划算法通常用于求解具有某种最优性质的问题。
在这类问题中，可能会有许多可行解。
我们希望找到具有最优值的解。
基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。

二、动态规划问题的特征
动态规划算法的有效性依赖于问题本身所具有的两个重要性质：
1.最优子结构：
当问题的最优解包含了其子问题的最优解时，称该问题具有最优子结构性质。
2.重叠子问题：
在用递归算法自顶向下解问题时，每次产生的子问题并不总是新问题，有些子问题被反复计算多次。动态规划算法(自底向上)正是利用了这种子问题的重叠性质，对每一个子问题只解一次，而后将其解保存在一个表格中，在以后尽可能多地利用这些子问题的解。

三、动态规划的基本概念

1. 阶段和阶段变量：
   用动态规划求解一个问题时，需要将问题的全过程恰当地分成若干个相互联系的阶段，以便按一定的次序去求解。
   描述阶段的变量称为阶段变量，阶段的划分一般是根据时间和空间的自然特征来划分，同时阶段的划分要便于把问题转化成多阶段决策过程。
2. 状态和状态变量：
   某一阶段的出发位置称为状态，通常一个阶段包含若干状态。一般地，状态可由变量来描述，用来描述状态的变量称为状态变量。
3. 决策、决策变量和决策允许集合：
   在对问题的处理中作出的每种选择性的行动就是决策。即从该阶段的每一个状态出发，通过一次选择性的行动转移至下一阶段的相应状态。
   决策也可以用变量来描述，称这种变量为决策变量。在实际问题中，决策变量的取值往往限制在某一个范围之内，此范围称为允许决策集合。
   4．策略和最优策略：
   所有阶段依次排列构成问题的全过程。全过程中各阶段决策变量所组成的有序总体称为策略。在实际问题中，从决策允许集合中找出最优效果的策略成为最优策略。
   5.状态转移方程
   前一阶段的终点就是后一阶段的起点，对前一阶段的状态作出某种决策，产生后一阶段的状态，这种关系描述了由k阶段到k+1阶段状态的演变规律，称为状态转移方程。

四、设计动态规划法的步骤

1.找出最优解的性质，并刻画其结构特征；
2.递归地定义最优值（写出动态规划方程）；
3.以自底向上的方式计算出最优值；
4.根据计算最优值时得到的信息，构造一个最优解。
步骤1～3是动态规划算法的基本步骤。
在只需要求出最优值的情形，步骤4可以省略；
若需要求出问题的一个最优解，则必须执行步骤4。