数学建模算法之动态规划

数模一个大佬的博客

【动态规划】

1.1 动态规划的研究内容与学习方法

把多阶段过程转化为一系列单阶段问题再逐个求解；
一些与时间无关的静态规划（如线性规划、非线性规划），只要人为地引进时间因素，把它视为多阶段决策过程，！也可以用动态规划方法方便地求解，但是要必须对具体问题进行具体分析处理。可用于求解最短路线问题、 生产计划问题、资源分配问题等多阶段决策的优化问题；

它不象线性规划那样有一个标准的数学表达式和明确定义的一组规则，而必须对具体问题进行具体分析处理。
因此，在学习 时，除了要对基本概念和方法正确理解外，应以丰富的想象力去建立模型，用创造性的 技巧去求解。（巧妙！）

1.2 典型例题

根据过程的时间变量是离散的还是连续的，分为离散时间决策过程（discrete-timedecision process）和连续时间决策过程（continuous-time decision process）；根据过程的演变是确定的还是随机的，分为确定性决策过程分为确定性决策过程（deterministic decision process）和随机性决策过程（stochastic decision process），其中应用最广的是确定性多阶段决策过程。

例 1 最短路线问题

例 2 生产计划问题

工厂生产某种产品，每单位（千件）的成本为 1（千元），每次开工的固定成本为 3 （千元），工厂每季度的最大生产能力为 6（千件）。经调查，市场对该产品的需求量第 一、二、三、四季度分别为 2，3，2，4（千件）。如果工厂在第一、二季度将全年的需 求都生产出来，自然可以降低成本（少付固定成本费），但是对于第三、四季度才能上 市的产品需付存储费，每季每千件的存储费为 0.5（千元）。还规定年初和年末这种产品 均无库存。试制定一个生产计划，即安排每个季度的产量，使一年的总费用（生产成本 和存储费）最少。

2. 基本方程和计算方法

2.1 动态规划的基本概念和基本方程

一个多阶段决策过程最优化问题的动态规划模型通常包含以下要素。

2.1.1 阶段

阶段(step)是对整个过程的自然划分。通常根据时间顺序或空间顺序特征来划分阶段，以便按阶段的次序解优化问题。阶段变量一般用k = 1,2,…,n 表示。

在例 1 中由 A 出发为 k = 1，由 (i = 1,2) 出发为 k = 2 ，依此下去从 (i = 1,2) 出发为 k = 6 ，共 n = 6个阶段。在例 2 中按照第一、二、三、四季度分为k = 1,2,3,4，共四个阶段。

2.1.2 状态

状态（state）表示每个阶段开始时过程所处的自然状况。它应能描述过程的特征并 且无后效性，即当某阶段的状态变量给定时，这个阶段以后过程的演变与该阶段以前各 阶段的状态无关。通常还要求状态是直接或间接可以观测的。

根据过程演变的具体情况，状态变量可以是离散的或连续的。为了计算的方便有时 将连续变量离散化；为了分析的方便有时又将离散变量视为连续的。 状态变量简称为状态。

2.1.3 决策

当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这 种选择手段称为决策（decision），在最优控制问题中也称为控制（control）。

决策变量简称决策。
2.1.4 策略


2.1.5. 状态转移方程
在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。用 状态转移方程（equation of state transition）表示这种演变规律，写作

2.1.6. 指标函数和最优值函数

2.1.7 最优策略和最优轨线

2.1.8 递归方程

3.用 lingo 求解例 1 最短路线问题。

model:
Title Dynamic Programming;
sets:
vertex/A,B1,B2,C1,C2,C3,C4,D1,D2,D3,E1,E2,E3,F1,F2,G/:L;
road(vertex,vertex)/A B1,A B2,B1 C1,B1 C2,B1 c3,B2 C2,B2 C3,B2 C4,
C1 D1,C1 D2,C2 D1,C2 D2,C3 D2,C3 D3,C4 D2,C4 D3,
D1 E1,D1 E2,D2 E2,D2 E3,D3 E2,D3 E3,
E1 F1,E1 F2,E2 F1,E2 F2,E3 F1,E3 F2,F1 G,F2 G/:D;
endsets
data:
D=5 3 1 3 6 8 7 6
6 8 3 5 3 3 8 4
2 2 1 2 3 3
3 5 5 2 6 6 4 3;
L=0,,,,,,,,,,,,,,,;
enddata
@for(vertex(i)|i#GT#1:L(i)=@min(road(j,i):L(j)+D(j,i)));
end 

本节的动态规划基本思想和一些经典例题就先写到这里。

参考文献