动态规划

动态规划

一、基本概念

 动态规划是一种解决多阶段决策问题的优化方法,把多阶段过程转化为一系列单阶段问题,利用各阶段之间的关系,逐个求解。
 

二、动态规划适用范围

能采用动态规划求解的问题的一般要具有3个性质:
1.最优性原理:如果问题的最优解所包含的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优性原理。
2.无后效性:即某阶段状态一旦确定,就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响以前的状态,只与当前状态有关。
3.有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到。(该性质并不是动态规划适用的必要条件,但是如果没有这条性质,动态规划算法同其他算法相比就不具备优势)。
 

三、动态规划三要素

动态规划有三要素:阶段、状态和决策
 阶段:把—个问题的过程,恰当地分为若千个相互联系的阶段,以便于按一定的次序去求解。描述阶段的变量称为阶段变量。
 划分:一般是根据时间和空间的自然特征来进行的,但要便于问题转化为多阶段决策
 状态:表示每个阶段开始所处的自然状况或客观条件。通常一个阶段有若干个状态(也可能只有一个状态),描述过程状态的变量称划分。
 决策:表示当过程处于某一阶段的某个状态时,可以作出不同的决定,从而确定下一阶段的状态,这种决定称为决策。
 

四、动态规划一般流程

划分阶段->正确选择状态变量->确定状态转移方程。