算法导引之动态规划01

一. 引述

动态规划(dynamic programming)，是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。因此，与动态规划相关的问题我们也把它称为DP问题。

二. 基本概念与要素

1. 阶段
   阶段(step)是对整个过程的自然划分。通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序解优化问题。阶段变量一般用k=1,2,…,n表示。
2. 状态
   状态(state)。表示每个阶段开始时过程所处的自然状况。它应该能够描述过程的特征并且具有无后向性，即当某阶段的状态给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关，即每个状态都是过去历史的一个完整总结。通常还要求状态是直接或间接可以观测的。
   描述状态的变量称状态变量(state variable)。变量允许取值的范围称允许状态集合(set of admissible states)。用x_k表示第k阶段的状态变量，它可以是一个数或一个向量。用X_k表示第k阶段的允许状态集合。
3. 决策
   当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策(decision) 。描述决策的变量称决策变量(decision variable)。变量允许取值的范围称允许决策集合(set of admissible decisions)。用U_k(x_k)表示第k阶段处于状态x_k时的决策变量，它是x_k的函数，用U_k(x_k)表示了x_k的允许决策集合。
4. 策略
   决策组成的序列称为策略(policy)。由初始状态x₁开始的全过程的策略记作P_1n(x₁)，即P_1n(x₁)={u₁(x₁),u₂(x₂),…，u_n(x_n)}。由第k阶段的状态x_k开始到终止状态的后部子过程的策略记作p_kn(x_k)，即P_kn(x_k)={u_k(x_k),u_k+1(x_k+1)，…，u_n(x_n)}。类似地，由第k到第j阶段的子过程的策略记作P_kj(x_k)={u_k(x_k),u_k+1(x_k+1),…，u_j(x_j)}。对于每一个阶段k的某一给定的状态x_k，可供选择的策略p_kj(x_k)有一定的范围，称为允许策略集合(set of admissible policies)，用P_1n(x₁),P_kn(x_k),P_kj(x_k)表示。
5. 状态转移方程
   在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。用状态转移方程(equation of state)，表示这种演变规律。
6. 指标函数和最优值函数
   指标函数(objective function)，是衡量过程优劣的数量指标，它是关于策略的数量函数，从阶段k到阶段n的指标函数用V_kn(x_k,p_kn(x_k))表示，k=1,2,…,n。 能够用动态规划解决的问题的指标函数应具有可分离性，即V_kn可表示为x_k,u_k,V_k+1n的函数。

三. 适用条件

1. 满足最优化原理（即具有最优子结构性质）
   一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足最优化原理又称其具有最优子结构性质。
2. 无后效性
   将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又称为无后效性。
3. 子问题的重叠性（非必要条件）
   动态规划将原来具有指数级复杂度的搜索算法改进成了具有多项式时间的算法。其中的关键在于解决冗余，这是动态规划算法的根本目的。动态规划实质上是一种以空间换时间的技术，它在实现的过程中，不得不存储产生过程中的各种状态，所以它的空间复杂度要大于其它的算法。设原问题的规模为n，容易看出，当子问题树中的子问题总数是n的超多项式函数，而不同的子问题数只是n的多项式函数时，动态规划法显得特别有意义，此时动态规划法具有线性时间复杂性。所以，能够用动态规划解决的问题还有一个显著特征：子问题的重叠性。这个性质并不是动态规划适用的必要条件，但是如果该性质无法满足，动态规划算法同其他算法相比就不具备优势。

四. 基本步骤

（一）一般思路和步骤

1. 划分阶段
   按照问题的时间或空间特征，把问题分为若干个阶段。注意这若干个阶段一定要是有序的或者是可排序的（即无后向性），否则问题就无法用动态规划求解。
2. 选择状态
   将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然，状态的选择要满足无后效性。
3. 确定决策并写出状态转移方程
   状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以，如果我们确定了决策，状态转移方程也就写出来了。但事实上，我们常常是反过来做，根据相邻两段的各状态之间的关系来确定决策
4. 写出规划方程
   动态规划的基本方程是规划方程的通用形式化表达式。一般说来，只要阶段、状态、决策和状态转移确定了，这一步还是比较简单的。

（二） 具体可操作步骤

具体操作步骤
1.分析最优解的性质，并刻划其结构特征
2.递归的定义最优值
3.以自底向上的方式或者自顶向下的方法（备忘录法）计算最优值
4.根据计算最优值的时的策略选择信息，构造最优解

看到这里列位看官是不是脑壳有点昏呢，不要紧，先保持内心冷静，不要打我呀 ，下一个我就会写动态规划的例子和一些经典问题的解决思路及方法。希望下一篇博客能让你有恍然大悟的体验。