动态规划基本思想

动态规划是求解多阶段决策问题的思路，不是一种具体的算法。它的基本概念有阶段，状态，决策和策略。

其关键是针对每一类问题去建立动态规划模型，具体步骤如下：

 

建立动态规划模型的步骤：
1、正确、明确地划分阶段 k， k =1，2，3，...，n。
依据决策过程的时间和空间的顺序关系。
2、正确选择并确定状态变量 sk 及状态集合 Sk 。
状态变量的确定有时并非显而易见，要确定它，通常可对问题作如下分析而帮助确定状态变量 
a. 什么关系将各个阶段联系在一起？ 
b. 为了决定今后的最优（子）策略，需要事件现状的哪些信息？

3、确定决策变量 uk 及决策集合 Dk（sk）。
4、写出状态转移方程 sk+1 = Tk（sk，uk）。
5、定义阶段指标值（函数） vk（sk，uk）。
6、定义第 k至 n 阶段（后部子过程）的最优指标（目标）函数fk（sk）。
7、作出动态规划结构图：

n8、建立动态规划基本方程：（逆序递推方程）

p*1n = { u*1，u*2，...，u*n }
9、逆序递推求解动态规划基本方程。 求出最优决策序列 u*n，u*n-1，...，u*2，u*1 10、顺序确定最优策略。

 

可以应用的问题域有：最佳路径，资源分配，生产决策，负荷分配，线性规划等。共同点是可分解为多阶段，每阶段可提取指标函数。