前言
一、动态规划的概念
概念:动态规划是解决多阶段决策过程最优化的一种方法。
基本思想:将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。
核心思想:整体最优,局部最优。
二、动态规划的基本步骤
(1)划分阶段:按时间或空间先后顺序,将过程划分为若干相互联系的阶段。
(2)正确选择状态变量:既要能确切描述过程演变又要满足无后效性,而且各阶段状态变量的取值能够确定。一般地,状态变量的选择是从过程演变的特点中寻找。
(3)确定决策变量及允许决策集合:通常选择所求解问题的关键变量作为决策变量,同时要给出决策变量的取值范围,即确定允许决策集合。
策略:在实际问题中,可供选择的策略有一定的范围,称为允许策略集合P。从允许策略集合中找出达到最优效果的策略称为最优策略。
(4)确定状态转移方程:根据k 阶段状态变量和决策变量,写出k+1阶段状态变量,状态转移方程应当具有递推关系。
(5)确定阶段指标函数和最优指标函数,建立动态规划基本方程
三、动态规划的适用情况
(1)最优化原理:如果问题的最优解所包含的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优化原理。
(2)无后效性:即某阶段状态一旦确定,就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响以前的状态,只与当前状态有关。
(3)有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到。
四、经典例题
1、最短路线问题
决策变量: Uk(Sk)
U3(C2)= D1 表示走到C阶段,当处于C2 路口时,下一步选择D1。
递推表达式:
2.资源分配问题
问题描述:
设有6百万元资金用于4个工厂的扩建,已知每个工厂的利润增长额同投资额的大小有关,见下表。问应如何确定对这四个工厂的投资额,使总利润增长额最大?
问题分析:
对四个工厂的投资依次看成4个阶段的决策过程,确定对第k个工厂的投资额看成第k个阶段的决策,
k=1,2,3,4。图示如下:
状态变量 Sk :可用于表示第k, k+1,…n个工厂的投资额
决策变量 Xk :第 k 阶段对第 k 个工厂的投资额