动态规划1

动态规划

---

1.动态规划概论

---

动态规划（Dynamic Programming，DP）
是运筹学的一个分支，是求解决策过程最优化的过程。在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。

---

2.动态规划应用过程

---

使用动态规划方法求解决策问题首先要将问题改造成符合动态规划求解要求的形式,要涉及以下阶段:
(1)阶段
(2)状态
(3)决策与策略
(4)状态转移方程
(5)指标函数
(6)基本方程

---

(1) 划分阶段
把一个复杂决策问题按时间或空间特征分解为若干(n)个相互联系的阶段(stage), 以便按顺序求解;
阶段变量描述当前所处的阶段位置，一般用下标k 表示;

---

(2) 确定状态
每阶段有若干状态(state), 表示某一阶段决策面临的条件或所处位置及运动特征的量,称为状态。反映状态变化的量叫作状态变量。 k 阶段的状态特征可用状态变量 s_k 描述;

---

每一阶段的全部状态构成该阶段的状态集合S_k，并有s_k属于S_k。每个阶段的状态可分为初始状态和终止状态，或称输入状态和输出状态，阶段的初始状态记作s_k ，终止状态记为s_k+1 ，也是下个阶段的初始状态。

---

(3) 决策、决策变量
所谓决策就是确定系统过程发展的方案，决策的实质是关于状态的选择，是决策者从给定阶段状态出发对下一阶段状态作出的选择。
用以描述决策变化的量称之决策变量，和状态变量一样，决策变量可以用一个数，一组数或一向量来描述．也可以是状态变量的函数，记以 x_k=x_k(s_k) ，表示于 k 阶段状态 s_k 时的决策变量。
决策变量的取值往往也有一定的容许范围，称之允许决策集合。决策变量 x_k(s_k)的允许决策集用 X_k(S_k)表示， x_k(s_k)属于X_k(S_k) , 允许决策集合实际是决策的约束条件。

---

(4)策略和允许策略集合
策略(Policy)也叫决策序列。策略有全过程策略和 k 部子策略之分，全过程策略是指具有n 个阶段的全部过程，由依次进行的 n 个阶段决策构成的决策序列，简称策略，表示为p_1,n{x₁,x₂,…,x_n}。 从 k 阶段到第 n 阶段，依次进行的阶段决策构成的决策序列称为 k 部子策略,表示为p_k,n{x_k,x_k+1,…,x_k+n} ，显然当 k=1时的 k 部子策略就是全过程策略。

---

(5) 状态转移方程
状态转移确定从一个状态到另一个状态的转移过程,
由状态转移方程描述: s_k+1 = T (s_k, x_k);
状态转移方程在大多数情况下可以由数学公式表达, 如: s_k+1 = s_k + x_k；

---

(6) 指标函数
用来衡量策略或子策略或决策的效果的某种数量指标，就称为指标函数。它是定义在全过程或各子过程或各阶段上的确定数量函数。对不同问题，指标函数可以是诸如费用、成本、产值、利润、产量、耗量、距离、时间、效用，等等。

a.阶段指标函数（也称阶段效应）
用v_k(s_k , x_k)表示第 k 段处于状态 s_k且所作决策为 x_k 时的指标，则它就是第 k 段指标函数，简记为 v_k 。

b.过程指标函数（也称目标函数）
用f(s_k , x_k)表示第k子过程的指标函数。表示处于第 k 段 s_k 状态且所作决策为x_k时，从 s_k 点到终点的距离。由此可见， f(s_k , x_k)不仅跟当前状态 s_k 有关，还跟该子过程策略 p_k(s_k) 有关,严格说来，应表示为 f_k(s_k , p_k(s_k)) 。它是由各阶段的阶段指标函数 v_k(s_k , x_k)累积形成的，对于 k 部子过程的指标函数可以表示为：

式中 ⊕ ，表示某种运算，可以是加、减、、乘、除、开方等．
多阶段决策问题中，常见的目标函数形式之一是取各阶段效应之和的形式，即:

有些问题，如系统可靠性问题，其目标函数是取各阶段效应的连乘积形式， 即:

---

(7) 最优解
用 f_k^* (s_k) 表示第 k 子过程指标函数F_k(s_k , p_k(s_k))在状态 s_k 下的最优值，即:

称 f_k ^*(s_k) 为第 k 子过程上的最优指标函数；与它相应的子策略 p_k(s_k) 称为状态 s_k 下的最优子策略，记为 p_k*(s_k) 。

---

(8)基本方程
一般地，对于 n 个阶段的决策过程，假设只考虑指标函数是“和”与“积”的形式，第 k 阶段和第 k+1 阶段间的递推公式可表示如下：
当过程指标函数为下列“和”的形式时

相应的函数基本方程为 :

---

3.动态规划问题

---

例1：用动态规划求解最短路问题

最短路的求解:
阶段:
可分为4个阶段, k = 1, …, 4。
状态:
可用城市编号, S₁={Q}, S₂={A1,A2,A3}, S₃={B1,B2,B3}, S₄={C1,C2}, S₅={T}
决策:
决策变量也可用城市编号;
状态转移方程:
s_k+1= x_k;
阶段指标函数：
v_k(s_k,x_k)=c_skxk
过程指标（阶段递推）函数:
f_k(s_k)=min{v_k(s_k,x_k)+f_k+1(s_k+1)}

k = 4
f₄ (C1) = 3, f₄(C2) = 4
k = 3
f₃(B1)=min{1+f₄(C1)=4*, 4+f₄(C2)=8}=4
f₃(B2)=min{6+f₄(C1)=9, 3+f₄(C2)=7*}=7
f₃(B3)=min{3+f₄(C1)=6*, 3+f₄(C2)=7}=6
k = 2
f₂(A1) = min{7+ f₃(B1), 4+ f₃(B2), 6+ f₃(B3) } = min{11*, 11*, 12} = 11
f₂(A2) = min{3+ f₃(B1), 2+ f₃(B2), 4+ f₃(B3) } = min{7*, 9, 10 } = 7
f₂(A3) = min{4+ f₃(B1), 1+ f₃(B2), 5+ f₃(B3) } = = min{8*, 8*, 11 } = 8
k = 1
f₁(Q) = min{2+f₂(A1), 4+f₂(A2), 3+f₂(A3)} = min{13, 11*, 11* } = 11
最短路是：
Q> A2 > B1 > C1 > T，p={A2,B1,C1,T}
Q> A3 > B1 > C1 > T ，p={A3,B1,C1,T}
Q> A3 > B2 > C2 > T ，p={A3,B2,C2,T}
在例题中，求解最短路线的计算公式可以概括写成：

其中，v_k 在这里表示从状态 s_k 到由决策 x_k 所决定的状态 s_k+1 之间的距离。f₅(s₅)=0 是边界条件，表示全过程到第四阶段终点结束。

---