动态规划算法入门

一、基本概念

    动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。

二、基本思想与策略

    基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。

    由于动态规划解决的问题多数有重叠子问题这个特点，为减少重复计算，对每一个子问题只解一次，将其不同阶段的不同状态保存在一个二维数组中。

    与分治法最大的差别是：适合于用动态规划法求解的问题，经分解后得到的子问题往往不是互相独立的（即下一个子阶段的求解是建立在上一个子阶段的解的基础上，进行进一步的求解）。

 

---

三、适用的情况

能采用动态规划求解的问题的一般要具有3个性质：

    (1) 最优化原理：如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。

    (2) 无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。

   （3）有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到。（该性质并不是动态规划适用的必要条件，但是如果没有这条性质，动态规划算法同其他算法相比就不具备优势）

 

---

四、求解的基本步骤

     动态规划所处理的问题是一个多阶段决策问题，一般由初始状态开始，通过对中间阶段决策的选择，达到结束状态。这些决策形成了一个决策序列，同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式，一般要经历以下几个步骤。

    初始状态→│决策１│→│决策２│→…→│决策ｎ│→结束状态

                      图1 动态规划决策过程示意图

    (1)划分阶段：按照问题的时间或空间特征，把问题分为若干个阶段。在划分阶段时，注意划分后的阶段一定要是有序的或者是可排序的，否则问题就无法求解。

    (2)确定状态和状态变量：将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然，状态的选择要满足无后效性。

    (3)确定决策并写出状态转移方程：因为决策和状态转移有着天然的联系，状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策，状态转移方程也就可写出。但事实上常常是反过来做，根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。

    (4)寻找边界条件：给出的状态转移方程是一个递推式，需要一个递推的终止条件或边界条件。

    一般，只要解决问题的阶段、状态和状态转移决策确定了，就可以写出状态转移方程（包括边界条件）。

实际应用中可以按以下几个简化的步骤进行设计：

    （1）分析最优解的性质，并刻画其结构特征。

    （2）递归的定义最优解。

    （3）以自底向上或自顶向下的记忆化方式（备忘录法）计算出最优值

    （4）根据计算最优值时得到的信息，构造问题的最优解

 

---

五、算法实现的说明

    动态规划的主要难点在于理论上的设计，也就是上面4个步骤的确定，一旦设计完成，实现部分就会非常简单。

     使用动态规划求解问题，最重要的就是确定动态规划三要素：

    （1）问题的阶段 （2）每个阶段的状态

    （3）从前一个阶段转化到后一个阶段之间的递推关系。

     递推关系必须是从次小的问题开始到较大的问题之间的转化，从这个角度来说，动态规划往往可以用递归程序来实现，不过因为递推可以充分利用前面保存的子问题的解来减少重复计算，所以对于大规模问题来说，有递归不可比拟的优势，这也是动态规划算法的核心之处。

    确定了动态规划的这三要素，整个求解过程就可以用一个最优决策表来描述，最优决策表是一个二维表，其中行表示决策的阶段，列表示问题状态，表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值（如最短路径，最长公共子序列，最大价值等），填表的过程就是根据递推关系，从1行1列开始，以行或者列优先的顺序，依次填写表格，最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。

          f(n,m)=max{f(n-1,m), f(n-1,m-w[n])+P(n,m)}

例题（白书）：背包dp

有n个重量和价值为wi和vi的物品，用承重为W的背包装，问最大价值？

递归求解代码：

#include <iostream>
#include <cstdio>
#include <cstdlib>

using namespace std;
#define LOCAL
#define MAX_N 100

int w[MAX_N], v[MAX_N];//重量， 价值
int n, W;//物品数量， 包含量

//两个参数i为操作的物品下标， j为剩余空间
int rec(int i, int j)
{
    //定义返回结果,每一组(i, j)返回一个res值
    int res;
    //如果没有物品可以查询，则直接返回
    if(i == n){
        res = 0;
    }
    else
        if(j < w[i]) {
        //剩余空间不能装下此物品
        res = rec(i+1, j);
    }else{
        //取装此物品和不装此物品的最优解
        res = max( rec(i+1, j), rec(i+1, j - w[i]) + v[i] );
    }
    return res;
}

int main()
{
	#ifdef LOCAL
		freopen("b:\\data.in.txt", "r", stdin);
	#endif
	/*
        背包问题：n个重量为wi，价值为vi的物品，有一个容量为W的包，问装的价值最大是多少
        思路：一般方法，递归穷竭搜索，每种物品有两种情况（选或者不选），搜索每种情况（复杂度2^n）;
	*/

	cin >> n >> W;

    for(int i = 0; i < n; i++)
        cin >> w[i] ;
    for(int i = 0; i < n; i++)
        cin >> v[i] ;

	printf("%d\n", rec(0, W));

    return 0;
}

-----------------------------------------------------------------------------------------------

记忆化搜索优化了相同状态重复操作的过程

#include <iostream>
#include <cstdio>
#include <cstdlib>
#include <cstring>
using namespace std;
#define LOCAL
#define MAX_N 100

int w[MAX_N], v[MAX_N];//重量， 价值
int n, W;//物品数量， 包含量
int dp[MAX_N + 1][MAX_N + 1];//dp[i][j]存储每一个状态的返回值

//两个参数i为操作的物品下标， j为剩余空间
int rec(int i, int j)
{
    //用dp优化成n*w量级的复杂度
    if(dp[i][j] >= 0){
        //之前已经计算过结果
        return dp[i][j];
    }
    //定义返回结果,每一组(i, j)返回一个res值
    int res;
    //如果没有物品可以查询，则直接返回
    if(i == n){
        res = 0;
    }
    else
        if(j < w[i]) {
        //剩余空间不能装下此物品
        res = rec(i+1, j);
    }else{
        //取装此物品和不装此物品的最优解
        res = max( rec(i+1, j), rec(i+1, j - w[i]) + v[i] );
    }
    return dp[i][j] = res;
}

int main()
{
	#ifdef LOCAL
		freopen("b:\\data.in.txt", "r", stdin);
	#endif
	/*
        背包问题：n个重量为wi，价值为vi的物品，有一个容量为W的包，问装的价值最大是多少
        思路：一般方法，递归穷竭搜索，每种物品有两种情况（选或者不选），搜索每种情况（复杂度2^n）;
        思路优化：用记忆化数组存储每一种状态的结果，避免了重复计算，优化实践复杂度
	*/

	cin >> n >> W;

    for(int i = 0; i < n; i++)
        cin >> w[i] ;
    for(int i = 0; i < n; i++)
        cin >> v[i] ;
    memset( dp, -1, sizeof(dp) );
	printf("%d\n", rec(0, W));

    return 0;
}

-----------------------------------------------------------------------------------------------

dp记忆化求解：

#include <iostream>
#include <cstdio>
#include <cstdlib>
using namespace std;
#define LOCAL
#define MAX_N 100

int dp[MAX_N+1][MAX_N+1];
int w[MAX_N] , v[MAX_N];
int main()
{
	#ifdef LOCAL
		freopen("b:\\data.in.txt", "r", stdin);
	#endif
	int n, W;
	cin >> n >> W ;
	for(int i = 0; i < n; i++)
        cin >> w[i];
    for(int i = 0; i < n; i++)
        cin >>v[i];

    //动态规划，记录下来每种状态的结果
    //逆向dp
//	for(int i = n - 1; i >= 0; i--){
//        for(int j = 0; j <= W; j++){
//            if(j < w[i]) {
//                //不足以装下w[i]
//                dp[i][j] = dp[i+1][j];
//            } else {
//                dp[i][j] = max(dp[i + 1][j], dp[i + 1][j - w[i]] + v[i]);
//            }
//        }
//	}
//    printf("%d\n", dp[0][W]);
    for(int i = 0; i < n; i++) {
        for(int j = 0; j <= W; j++) {
            if(j < w[i]) {
                dp[i + 1][j] = dp[i][j];
            } else {
                dp[i + 1][j] = max(dp[i][j], dp[i][j - w[i]] + v[i]);
            }
        }
    }
	printf("%d\n", dp[n][W]);
	//输出动态规划记忆结果
	for(int i = 0; i < n; i++)
    {
        for(int j = 0; j <= W; j++)
        cout << dp[i][j] << " ";
        cout << endl;
    }


    return 0;
}

1.问题阶段：n个物品，每个物品是一个阶段

2.每一个阶段的状态：被选择或者没被选择

3.状态转移方程：

dp[i + 1][j] = max(dp[i][j], dp[i][j - w[i]] + v[i]);

后一状态取决于前一状态的结果

用记忆化数组记忆最优结果。