动态规划之最短路问题及其解法

动态规划

引言

  1951年，美国数学家贝尔曼（R.Bellman）等根据一类所谓多阶段决策问题的特性，提出了解决这类问题的“最优化原理”，并研究了许多实际问题，从而创立了最优化的一个新分支----动态规划。
  动态规划没有统一的数学模型，对不同的问题要采用不同的方法去建立它们的模型。有了模型之后，要想得到数值解，仍然没有统一的处理方法。这是应当注意的。

1 动态规划原理

1.1 最短路问题及其解法

1.1.1 最短路问题及其特点

  图1-1称为线路网络图，其中小圆圈称为点，两点间的连线称为弧，弧上的数字称为弧长。试求一条从起点$A$到终点$E$的连通弧，使其总弧长最短。称这类问题为最短路问题。

  最短路问题的含义是广泛的，求解方法也有很多，下面介绍它的动态规划解法。
  首先注意，从$A$ 到$E$的整个过程可以分成从$A$到B，从$B$到$C$，从$C$到$D$，再从$D$到$E$四个阶段。每个阶段都有起点，如第二个阶段有两个起点$B_1$ 和$B_2$，用$x_k$表示第$k$（$k=1,2,3,4$）个阶段的起点，并称它为状态变量。从每个起点出发都有若干个选择，例如从$B_1$出发有三种选择，到$C_1$或到$C_2$或到$C_3$，用$u_k$表示从第$k$（$k=1,2,3,4$）个阶段的状态$x_k$出发所作的选择，并称它为决策变量。如果用$f_k(x_k)$¹表示从第$k$个阶段的状态$x_k$出发到终点$E$的最短弧长，或者用$f_k(x_k)$²表示从起点$A$到第$k$个阶段的状态$x_k$的最短弧长，那么问题就变成求$f_1(x_1)=f_1(A)$，或者求$f_5(x_5)=f_5(E)$。
  其次，不难看出，如果最短路经过第$k$阶段的状态为$x_k$，那么，从$x_k$出发到达终点$E$的这条路线，对于从$x_k$出发到达终点$E$的所有路线来说，显然也是最短路线。³
  根据最短路问题的上述特点，可有下述两种解法。

1.1.2 逆序解法

  用$f_k(x_k)$表示从第$k$阶段的状态$x_k$出发到终点$E$的最短弧长，从后向前逐步求出各点到达终点$E$的最短路线的最短弧长，最后求出$f_1(x_1)=f_1(A)$即为所求最短路线的最短弧长。计算步骤如下：
  （1）从最后一个阶段$k=4$开始，按$f_4$的定义有
$$f_4(D_1)=3，f_4(D_2)=2，f_4(D_3)=2。$$

  （2）当$k=3$时，因为第3阶段有4个状态，而每个状态又有两个决策可选取，所以有
$$f_3(C_1)=min\left\{\begin{array}{l}d(C_1,D_1)+f_4(D_1)\\ d(C_1,D_2)+f_4(D_2)\end{array}\right\}=min\left\{\begin{array}{l}6+3\\ 8+2\end{array}\right\}=9，$$
其中$d(\cdot ,\cdot )$表示两点间的弧长。这说明从$C_1$到终点$E$的最短弧长为9，路径为$C_1\to D_1\to E$，决策为$u_3(C_1)=D_1$。
$$f_3(C_2)=min\left\{\begin{array}{l}d(C_2,D_1)+f_4(D_1)\\ d(C_2,D_2)+f_4(D_2)\end{array}\right\}=min\left\{\begin{array}{l}3+3\\ 5+2\end{array}\right\}=6，$$
即从$C_2$到终点$E$的最短弧长为6，路径为$C_2\to D_1\to E$，决策为$u_3(C_2)=D_1$。
$$f_3(C_3)=min\left\{\begin{array}{l}d(C_3,D_2)+f_4(D_2)\\ d(C_3,D_3)+f_4(D_3)\end{array}\right\}=min\left\{\begin{array}{l}3+2\\ 3+2\end{array}\right\}=5，$$
即从$C_3$到终点$E$的最短弧长为5，路径为$C_3\to D_2（或D_3）\to E$，决策为$u_3(C_3)=D_2（或D_3）$。
$$f_3(C_4)=min\left\{\begin{array}{l}d(C_4,D_2)+f_4(D_2)\\ d(C_4,D_3)+f_4(D_3)\end{array}\right\}=min\left\{\begin{array}{l}8+2\\ 4+2\end{array}\right\}=6，$$
即从$C_4$到终点$E$的最短弧长为6，路径为$C_4\to D_3\to E$，决策为$u_3(C_4)=D_3$。

  （3）当$k=2$时，由于第2阶段有2个状态，每个状态又有3个决策可选，故有
$$f_2(B_1)=min\left\{\begin{array}{l}d(B_1,C_1)+f_4(C_1)\\ d(B_1,C_2)+f_4(C_2)\\ d(B_1,C_3)+f_4(C_3)\end{array}\right\}=min\left\{\begin{array}{l}1+9\\ 3+6\\ 6+5\end{array}\right\}=9，$$
即从$B_1$到终点$E$的最短弧长为9，路径为$B_1\to C_2\to D_1\to E$，决策为$u_2(B_1)=C_2$，$u_3(C_2)=D_1$，$u_4(D_1)=E$。
$$f_2(B_2)=min\left\{\begin{array}{l}d(B_2,C_2)+f_4(C_2)\\ d(B_2,C_3)+f_4(C_3)\\ d(B_2,C_4)+f_4(C_4)\end{array}\right\}=min\left\{\begin{array}{l}8+6\\ 7+5\\ 6+6\end{array}\right\}=12，$$
即从$B_2$到终点$E$的最短弧长为12，路径为$B_2\to C_3\to D_2（或D_3）\to E$，或$B_2\to C_4\to D_3\to E$，决策为$u_2(B_2)=C_3)$，$u_3(C_3)=D_2（或D_3）$，$u_4(D_2)=E$；或$u_2(B_2)=C_4$，$u_3(C_4)=D_3$，$u_4(D_3)=E$。

  （4）当$k=1$时，有
$$f_1(A)=min\left\{\begin{array}{l}d(A,B_1)+f_4(B_1)\\ d(A,B_2)+f_4(B_2)\end{array}\right\}=min\left\{\begin{array}{l}5+9\\ 3+12\end{array}\right\}=14，$$
即从$A$到终点$E$的最短弧长为14，路径为$A\to B_1\to C_2\to D_1\to E$，决策为$u_1(A)=B_1$，$u_2(B_1)=C_2$，$u_3(C_2)=D_1$，$u_4(D_1)=E$。

  上述解法的四个步骤可归纳为下述递推公式：
{ f k ( x k ) = min ⁡ u k ∈ D k { d ( x k , x k + 1 ) + f k + 1 ( x k + 1 ) } ; f 5 ( x 5 ) = 0 , k = 4 , 3 , 2 , 1 \left\{ \begin{array}{lcl} f_k(x_k) = \min \limits_{u_k \in D_k} \{ d(x_k,x_{k+1}) + f_{k+1}(x_{k+1})\} ;\\ f_5(x_5)=0, k=4,3,2,1 \end{array} \right. {fk​(xk​)=uk​∈Dk​min​{d(xk​,xk+1​)+fk+1​(xk+1​)};f5​(x5​)=0,k=4,3,2,1​
其中$x_{k+1}=u_k(x_k)$，即从状态$x_k$出发，采取决策$u_k$到达下一状态$x_{k+1}$；$D_k$表示从状态$x_k$出发的所有可能选取的决策的集合；而$f_5(x_5)=0$称为边界条件,因为状态$x_5=E$已是终点。

  这个递推公式就是最短路问题的数学模型，也叫动态规划方程。

  由于这种算法的寻优方向与过程的行进方向刚好相反，故称逆序解法。

1.1.3 顺序解法

  用$f_k(x_k)$表示从起点$A$出发到第$k$阶段的状态$x_k$的最短弧长，从前向后逐步求出起点$A$到达各阶段起点的最短弧长，最后也可求出从起点$A$到终点$E$的最短弧长及其对应的路径。计算步骤如下：
  按定义显然有$f{x}_{(}{x}_1)=f_1(A)=0$，称它为边界条件。以下从第二阶段$k=2$开始计算。
  （1）当$k=2$时，按$f_2$的定义有
$$f_2(B_1)=5，f_2(B_2)=3。$$

  （2）当$k=3$时，按$f_3$的定义有
$$f_3(C_1)=d(B_1,C_1)+f_2(B_1)=1+5=6,$$

$$f_3(C_2)=min\left\{\begin{array}{l}d(B_1,C_2)+f_2(B_1)\\ d(B_2,C_2)+f_2(B_2)\end{array}\right\}=min\left\{\begin{array}{l}3+5\\ 8+3\end{array}\right\}=8,$$

$$f_3(C_3)=min\left\{\begin{array}{l}d(B_1,C_3)+f_4(B_1)\\ d(B_2,C_3)+f_4(B_2)\end{array}\right\}=min\left\{\begin{array}{l}6+5\\ 7+3\end{array}\right\}=10，$$

$$f_3(C_4)=d(B_2,C_4)+f_2(B_2)=6+3=9.$$

  （3）当$k=4$时，按$f_4$的定义分别有
$$f_4(D_1)=min\left\{\begin{array}{l}d(C_1,D_1)+f_3(C_1)\\ d(C_2,D_1)+f_3(C_2)\end{array}\right\}=min\left\{\begin{array}{l}6+6\\ 3+8\end{array}\right\}=11,$$

$$f_4(D_2)=min\left\{\begin{array}{l}d(C_1,D_2)+f_3(C_1)\\ d(C_2,D_2)+f_3(C_2)\\ d(C_3,D_2)+f_3(C_3)\\ d(C_4,D_2)+f_3(C_4)\end{array}\right\}=min\left\{\begin{array}{l}8+6\\ 5+8\\ 3+10\\ 8+9\end{array}\right\}=13,$$

$$f_4(D_3)=min\left\{\begin{array}{l}d(C_3,D_3)+f_3(C_3\\ d(C_4,D_3)+f_3(C_4)\end{array}\right\}=min\left\{\begin{array}{l}3+10\\ 4+9\end{array}\right\}=13,$$

  （4）当$k=5$时，按$f_5$的定义有
$$f_5(E)=min\left\{\begin{array}{l}d(D_1,E)+f_4(D_1)\\ d(D_2,E)+f_4(D_2)\\ d(D_3,E)+f_4(D_3)\end{array}\right\}=min\left\{\begin{array}{l}3+11\\ 2+13\\ 2+13\end{array}\right\}=14,$$
$f_5(E)=14$为所求的最短弧长，路径为$A\to B_1\to C_2\to D_1\to E$，决策为$u_1(A)=B_1$，$u_2(B_1)=C_2$，$u_3(C_2)=D_1$，$u_4(D_1)=E$，与逆序解法的结果完全一样。

  上述解法也可写成统一的递推公式形式：
{ f k ( x k ) = min ⁡ u k − 1 ∈ D k − 1 { d ( u k − 1 , x k ) + f k − 1 ( x k − 1 ) } ; f 1 ( x 1 ) = 0 , k = 2 , 3 , 4 , 5. \left\{ \begin{array}{lcl} f_k(x_k) = \min \limits_{u_{k-1} \in D_{k-1}} \{ d(u_{k-1},x_k) + f_{k-1}(x_{k-1})\} ;\\ f_1(x_1)=0, k=2,3,4,5. \end{array} \right. {fk​(xk​)=uk−1​∈Dk−1​min​{d(uk−1​,xk​)+fk−1​(xk−1​)};f1​(x1​)=0,k=2,3,4,5.​
其中$x_{k-1}=u_{k-1}(x_k)$，即从第$k$阶段的起点状态$x_k$通过$u_{k-1}$去寻找第$k-1$阶段的起点$x_{k-1}$，$f_1(x_1)=0$称为边界条件。

  由于这种算法的寻优方向与过程的行进方向相同，故称顺序解法。

---

1. 后部最优指标函数 ↩︎

2. 前部最优指标函数 ↩︎

3. 最优化原理 ↩︎