【算法设计与分析】笔记（3）动态规划

前言

一、动态规划的概念

概念：动态规划是解决多阶段决策过程最优化的一种方法。
基本思想：将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。
核心思想:整体最优，局部最优。

二、动态规划的基本步骤

（1）划分阶段：按时间或空间先后顺序，将过程划分为若干相互联系的阶段。
（2）正确选择状态变量:既要能确切描述过程演变又要满足无后效性，而且各阶段状态变量的取值能够确定。一般地，状态变量的选择是从过程演变的特点中寻找。
（3）确定决策变量及允许决策集合:通常选择所求解问题的关键变量作为决策变量，同时要给出决策变量的取值范围，即确定允许决策集合。
策略：在实际问题中，可供选择的策略有一定的范围，称为允许策略集合P。从允许策略集合中找出达到最优效果的策略称为最优策略。

（4）确定状态转移方程:根据k 阶段状态变量和决策变量，写出k+1阶段状态变量，状态转移方程应当具有递推关系。
（5）确定阶段指标函数和最优指标函数，建立动态规划基本方程

三、动态规划的适用情况

（1）最优化原理：如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。
（2）无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。
（3）有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到。

四、经典例题

1、最短路线问题

决策变量： Uk(Sk)
U3（C2）= D1 表示走到C阶段,当处于C2 路口时，下一步选择D1。
递推表达式：

2.资源分配问题

问题描述：
设有6百万元资金用于4个工厂的扩建，已知每个工厂的利润增长额同投资额的大小有关，见下表。问应如何确定对这四个工厂的投资额，使总利润增长额最大？

问题分析：
对四个工厂的投资依次看成4个阶段的决策过程，确定对第k个工厂的投资额看成第k个阶段的决策，
k=1,2,3,4。图示如下：

状态变量 Sk ：可用于表示第k, k+1,…n个工厂的投资额
决策变量 Xk ：第 k 阶段对第 k 个工厂的投资额