《算法导论》读书笔记(六)

《算法导论》读书笔记之第15章 动态规划—装配线调度

前言：动态规划的概念

　　动态规划（dynamic programming）是通过组合子问题的解而解决整个问题的。分治算法是指将问题划分为一些独立的子问题，递归的求解各个问题，然后合并子问题的解而得到原问题的解。例如归并排序，快速排序都是采用分治算法思想。本书在第二章介绍归并排序时，详细介绍了分治算法的操作步骤，详细的内容请参考：http://www.cnblogs.com/Anker/archive/2013/01/22/2871042.html。而动态规划与此不同，适用于子问题不是独立的情况，也就是说各个子问题包含有公共的子问题。如在这种情况下，用分治算法则会重复做不必要的工作。采用动态规划算法对每个子问题只求解一次，将其结果存放到一张表中，以供后面的子问题参考，从而避免每次遇到各个子问题时重新计算答案。

动态规划与分治法之间的区别：
（1）分治法是指将问题分成一些独立的子问题，递归的求解各子问题
（2）动态规划适用于这些子问题不是独立的情况，也就是各子问题包含公共子问题

　　动态规划通常用于最优化问题（此类问题一般有很多可行解，我们希望从这些解中找出一个具有最优（最大或最小）值的解）。动态规划算法的设计分为以下四个步骤：

（1）描述最优解的结构

（2）递归定义最优解的值

（3）按自低向上的方式计算最优解的值

（4）由计算出的结果构造一个最优解

　　动态规划最重要的就是要找出最优解的子结构。书中接下来列举4个问题，讲解如何利用动态规划方法来解决。动态规划的内容比较多，我计划每个问题都认真分析，写成日志。今天先来看第一个问题：装配线调度问题

2、问题描述

　　一个汽车公司在有2条装配线的工厂内生产汽车，每条装配线有n个装配站，不同装配线上对应的装配站执行的功能相同，但是每个站执行的时间是不同的。在装配汽车时，为了提高速度，可以在这两天装配线上的装配站中做出选择，即可以将部分完成的汽车在任何装配站上从一条装配线移到另一条装配线上。装配过程如下图所示：

　　装配过程的时间包括：进入装配线时间e、每装配线上各个装配站执行时间a、从一条装配线移到另外一条装配线的时间t、离开最后一个装配站时间x。举个例子来说明，现在有2条装配线，每条装配线上有6个装配站，各个时间如下图所示：

从图中可以看出按照红色箭头方向进行装配汽车最快，时间为38。分别现在装配线1上的装配站1、3和6，装配线2上装配站2、4和5。

3、动态规划解决步骤

（1）描述通过工厂最快线路的结构

　　对于装配线调度问题，一个问题的（找出通过装配站S_i,j的 最快线路）最优解包含了子问题（找出通过S_1,j-1或S_2,j-1的最快线路）的一个最优解，这就是最优子结构。观察一条通过装配站S1,j的最快线路，会发现它必定是经过装配线1或2上装配站j-1。因此通过装配站的最快线路只能以下二者之一：

a)通过装配线S_1,j-1的最快线路，然后直接通过装配站S_i,j；

b)通过装配站S_2,j-1的最快线路，从装配线2移动到装配线1，然后通过装配线S_1,j。

为了解决这个问题，即寻找通过一条装配线上的装配站j的最快线路，需要解决其子问题，即寻找通过两条装配线上的装配站j-1的最快线路。

（2）一个递归的解

　　最终目标是确定底盘通过工厂的所有路线的最快时间，设为f*，令f_i[j]表示一个底盘从起点到装配站S_i,j的最快时间，则f* = min(f₁[n]+x₁,f₂[n]+x₂)。逐步向下推导，直到j=1。

当j=1时: f₁[1] = e₁+a_1,1,f₂[1] = e₂+a_2,1。

当j>1时：f₁[j] = min(f₁[j-1]+a_1,j，f₂[j-1]+t_2,j-1+a_1,j)，f₂[j] = min(f₂[j-1]+a_2,j，f₁[j-1]+t_1,j-1+a_2,j)。

（3）计算最快时间

　　有了递归的解，就可以按照上述的思路编写程序实现，为了避免用递归实现，需要开辟辅助空间来进行，以空间来换取时间，用C语言实现如下所示：

 1 void fastest_way(int a[][N],int t[][N-1],int e[],int x[],int f[][N],int l[][N],int n)  2 {  3 int i,j;  4 f[0][0] = e[0] + a[0][0];  5 f[1][0] = e[1] + a[1][0];  6 l[0][0] = 1;  7 l[1][0] = 2;  8 for(j=1;j<n;j++)  9  { 10 if(f[0][j-1] < f[1][j-1] + t[1][j-1]) 11  { 12 f[0][j] = f[0][j-1] + a[0][j]; 13 l[0][j] = 1; 14  } 15 else 16  { 17 f[0][j] = f[1][j-1] + t[1][j-1] + a[0][j]; 18 l[0][j] = 2; 19  } 20 if(f[1][j-1] < f[0][j-1] + t[0][j-1]) 21  { 22 f[1][j] = f[1][j-1] + a[1][j]; 23 l[1][j] = 2; 24  } 25 else 26  { 27 f[1][j] = f[0][j-1] + t[0][j-1] + a[1][j]; 28 l[1][j] = 1; 29  } 30  } 31 if(f[0][n-1] + x[0] < f[1][n-1] + x[1]) 32  { 33 last_f = f[0][n-1] + x[0]; 34 last_l = 1; 35  } 36 else 37  { 38 last_f = f[1][n-1] + x[1]; 39 last_l = 2; 40  } 41 }

（4）构造通过工厂的最快线路

　　有第三步骤已经计算出来并记录了每个装配站所在的装配线编号，故可以按照以站号递减顺序直接输出，程序如下所示：

 1 void print_station(int l[][N],int last_l,int n)  2 {  3 int i = last_l;  4 int j;  5 printf("line %d,station %d\n",i,n);  6 for(j=n-1;j>0;--j)  7  {  8 i = l[i-1][j];  9 printf("line %d,station %d\n",i,j); 10  } 11 }

　　若是按照站号递增顺序输出，则需通过递归进行实现，程序如下所示：

 1 void print_station_recursive(int l[][N],int last_l,int n)  2 {  3 int i = last_l;  4 if(n == 1)  5 printf("line %d,station %d\n",i,n);  6 else  7  {  8 print_station_recursive(l,l[i-1][n-1],n-1);  9 printf("line %d,station %d\n",i,n); 10  } 11 12 }

4、编程实现

根据上面的分析，采用C语言实现如下：

  1 #include <stdio.h>
  2 #include <stdlib.h>
  3 
  4 #define N 6
 5  6 void fastest_way(int a[][N],int t[][N-1],int e[],int x[],int f[][N],int l[][N],int n);  7 void print_station(int l[][N],int last_l,int n);  8 void print_station_recursive();  9 //全局变量，last_t表示最短时间,last_l表示最后一个装配站所在的装配线编号  10 int last_f,last_l;  11  12 int main()  13 {  14 int a[2][6] = {{7,9,3,4,8,4},{8,5,6,4,5,7}};  15 int t[2][5] = {{2,3,1,3,4},{2,1,2,2,1}};  16 int f[2][6] = {0};  17 int l[2][6] = {0};  18 int e[2] = {2,4};  19 int x[2] = {3,2};  20 int i,j;  21 fastest_way(a,t,e,x,f,l,6);  22 //打印输出各个装配线上各个装配站执行的最短时间  23 for(i=0;i<2;++i)  24  {  25 printf("f%d is: ",i+1);  26 for(j=0;j<6;++j)  27 printf("%d ",f[i][j]);  28 printf("\n");  29  }  30 printf("last_f is: %d\nlast_l is: %d\n",last_f,last_l);  31 for(i=0;i<2;++i)  32  {  33 printf("l%d is: ",i+1);  34 for(j=0;j<6;++j)  35 printf("%d ",l[i][j]);  36 printf("\n");  37  }  38 print_station(l,last_l,6);  39 printf("output sequence by recursive.\n");  40 print_station_recursive(l,last_l,6);  41 return 0;  42 }  43  44 void fastest_way(int a[][N],int t[][N-1],int e[],int x[],int f[][N],int l[][N],int n)  45 { 46 int i,j; 47 f[0][0] = e[0] + a[0][0]; 48 f[1][0] = e[1] + a[1][0]; 49 l[0][0] = 1; 50 l[1][0] = 2; 51 for(j=1;j<n;j++) 52 { 53 if(f[0][j-1] < f[1][j-1] + t[1][j-1]) 54 { 55 f[0][j] = f[0][j-1] + a[0][j]; 56 l[0][j] = 1; 57 } 58 else 59 { 60 f[0][j] = f[1][j-1] + t[1][j-1] + a[0][j]; 61 l[0][j] = 2; 62 } 63 if(f[1][j-1] < f[0][j-1] + t[0][j-1]) 64 { 65 f[1][j] = f[1][j-1] + a[1][j]; 66 l[1][j] = 2; 67 } 68 else 69 { 70 f[1][j] = f[0][j-1] + t[0][j-1] + a[1][j]; 71 l[1][j] = 1; 72 } 73 } 74 if(f[0][n-1] + x[0] < f[1][n-1] + x[1]) 75 { 76 last_f = f[0][n-1] + x[0]; 77 last_l = 1; 78 } 79 else 80 { 81 last_f = f[1][n-1] + x[1]; 82 last_l = 2; 83 } 84 } 85 86 void print_station(int l[][N],int last_l,int n) 87 { 88 int i = last_l; 89 int j; 90 printf("line %d,station %d\n",i,n); 91 for(j=n-1;j>0;--j) 92 { 93 i = l[i-1][j]; 94 printf("line %d,station %d\n",i,j); 95 } 96 } 97 void print_station_recursive(int l[][N],int last_l,int n) 98 { 99 int i = last_l; 100 if(n == 1) 101 printf("line %d,station %d\n",i,n); 102 else 103 { 104 print_station_recursive(l,l[i-1][n-1],n-1); 105 printf("line %d,station %d\n",i,n); 106 } 107 108 }

程序执行结果如下所示：

5、总结

　　动态规划是个非常有效的设计方法，要善于用动态规划去分析问题，重点是如何发现子问题的结构。最优子结构在问题域中以两种方式变化（在找出这两个问题的解之后，构造出原问题的最优子结构往往就不是难事了）：

a) 有多少个子问题被用在原问题的一个最优解中
b) 在决定一个最优解中使用哪些子问题有多少个选择

 

 

 

《算法导论》读书笔记之第15章 动态规划—矩阵链乘法

前言：今天接着学习动态规划算法，学习如何用动态规划来分析解决矩阵链乘问题。首先回顾一下矩阵乘法运算法，并给出C++语言实现过程。然后采用动态规划算法分析矩阵链乘问题并给出C语言实现过程。

1、矩阵乘法

　

　　

 

 

 

　　

　　从定义可以看出： 只有当矩阵A的列数与矩阵B的行数相等时A×B才有意义。一个m×r的矩阵A左乘一个r×n的矩阵B，会得到一个m×n的矩阵C。在计算机中，一个矩阵说穿了就是一个二维数组。一个m行r列的矩阵可以乘以一个r行n列的矩阵，得到的结果是一个m行n列的矩阵，其中的第i行第j列位置上的数等于前一个矩阵第i行上的r个数与后一个矩阵第j列上的r个数对应相乘后所有r个乘积的和。采用C++语言实现完整的两个矩阵乘法，程序如下所示：

 1 #include <iostream>
 2 using namespace std;
 3 #define A_ROWS 3  4 #define A_COLUMNS 2  5 #define B_ROWS 2  6 #define B_COLUMNS 3  7 void matrix_multiply(int A[A_ROWS][A_COLUMNS],int B[B_ROWS][B_COLUMNS],int C[A_ROWS][B_COLUMNS]);  8 int main()  9 { 10 int A[A_ROWS][A_COLUMNS] = {1,0, 11 1,2, 12 1,1}; 13 int B[B_ROWS][B_COLUMNS] = {1,1,2, 14 2,1,2}; 15 int C[A_ROWS][B_COLUMNS] = {0}; 16  matrix_multiply(A,B,C); 17 for(int i=0;i<A_ROWS;i++) 18  { 19 for(int j=0;j<B_COLUMNS;j++) 20 cout<<C[i][j]<<" "; 21 cout<<endl; 22  } 23 return 0; 24 } 25 void matrix_multiply(int A[A_ROWS][A_COLUMNS],int B[B_ROWS][B_COLUMNS],int C[A_ROWS][B_COLUMNS]) 26 { 27 if(A_COLUMNS != B_ROWS) 28 cout<<"error: incompatible dimensions."<<endl; 29 else 30  { 31 int i,j,k; 32 for(i=0;i<A_ROWS;i++) 33 for(j=0;j<B_COLUMNS;j++) 34  { 35 C[i][j] = 0; 36 for(k=0;k<A_COLUMNS;k++) 37 C[i][j] += A[i][k] * B[k][j]; //将A的每一行的每一列与B的每一列的每一行的乘积求和 38  } 39  } 40 }

程序测试结果如下所示：

2、矩阵链乘问题描述

　　给定n个矩阵构成的一个链<A₁,A₂,A₃,.......A_n>，其中i=1,2,...n，矩阵A的维数为p_i-1p_i，对乘积 A₁A₂...A_n 以一种最小化标量乘法次数的方式进行加全部括号。

　　注意：在矩阵链乘问题中，实际上并没有把矩阵相乘，目的是确定一个具有最小代价的矩阵相乘顺序。找出这样一个结合顺序使得相乘的代价最低。

3、动态规划分析过程

1）最优加全部括号的结构

　　动态规划第一步是寻找一个最优的子结构。假设现在要计算A_iA_i+1....A_j的值，计算A_i...j过程当中肯定会存在某个k值（i<=k<j）将A_i...j分成两部分，使得A_i...j的计算量最小。分成两个子问题A_i...k和A_k+1...j，需要继续递归寻找这两个子问题的最优解。

　　有分析可以到最优子结构为：假设A_iA_i+1....A_j的一个最优加全括号把乘积在A_k和A_k+1之间分开，则A_i..k和A_k+1..j也都是最优加全括号的。

2）一个递归解

　　设m[i,j]为计算机矩阵A_i...j所需的标量乘法运算次数的最小值，对此计算A_1..n的最小代价就是m[1,n]。现在需要来递归定义m[i,j]，分两种情况进行讨论如下：

当i==j时：m[i,j] = 0，（此时只包含一个矩阵）

当i<j 时：从步骤1中需要寻找一个k（i≤k＜j）值，使得m[i,j] ＝min{m[i,k]+m[k+1,j]+p_i-1p_kp_j} （i≤k＜j）。

3）计算最优代价

　　虽然给出了递归解的过程，但是在实现的时候不采用递归实现，而是借助辅助空间，使用自底向上的表格进行实现。设矩阵Ai的维数为pi-1pi，i=1,2.....n。输入序列为：p=<p0，p1,...pn>，length[p] = n+1。使用m[n][n]保存m[i,j]的代价，s[n][n]保存计算m[i,j]时取得最优代价处k的值，最后可以用s中的记录构造一个最优解。书中给出了计算过程的伪代码，摘录如下：

 1 MAXTRIX_CHAIN_ORDER(p)
 2   n = length[p]-1;
 3 for i=1 to n  4 do m[i][i] = 0;  5 for t = 2 to n //t is the chain length  6 do for i=1 to n-t+1  7 j=i+t-1;  8 m[i][j] = MAXLIMIT;  9 for k=i to j-1 10 q = m[i][k] + m[k+1][i] + qi-1qkqj; 11 if q < m[i][j] 12 then m[i][j] = q; 13 s[i][j] = k; 14 return m and s;

MATRIX_CHAIN_ORDER具有循环嵌套，深度为3层，运行时间为O(n³)。如果采用递归进行实现，则需要指数级时间Ω(2ⁿ)，因为中间有些重复计算。递归是完全按照第二步得到的递归公式进行计算，递归实现如下所示：

 1 int recursive_matrix_chain(int *p,int i,int j,int m[N+1][N+1],int s[N+1][N+1])  2 {  3 if(i==j)  4 m[i][j] = 0;  5 else  6  {  7 int k;  8 m[i][j] = MAXVALUE;  9 for(k=i;k<j;k++) 10  { 11 int temp = recursive_matrix_chain(p,i,k,m,s) +recursive_matrix_chain(p,k+1,j,m,s) + p[i-1]*p[k]*p[j]; 12 if(temp < m[i][j]) 13  { 14 m[i][j] = temp; 15 s[i][j] = k; 16  } 17  } 18  } 19 return m[i][j]; 20 }

 对递归算计的改进，可以引入备忘录，采用自顶向下的策略，维护一个记录了子问题的表，控制结构像递归算法。完整程序如下所示：

 1 int memoized_matrix_chain(int *p,int m[N+1][N+1],int s[N+1][N+1])  2 {  3 int i,j;  4 for(i=1;i<=N;++i)  5 for(j=1;j<=N;++j)  6  {  7 m[i][j] = MAXVALUE;  8  }  9 return lookup_chain(p,1,N,m,s); 10 } 11 12 int lookup_chain(int *p,int i,int j,int m[N+1][N+1],int s[N+1][N+1]) 13 { 14 if(m[i][j] < MAXVALUE) 15 return m[i][j]; //直接返回，相当于查表 16 if(i == j) 17 m[i][j] = 0; 18 else 19  { 20 int k; 21 for(k=i;k<j;++k) 22  { 23 int temp = lookup_chain(p,i,k,m,s)+lookup_chain(p,k+1,j,m,s) + p[i-1]*p[k]*p[j]; //通过递归的形式计算，只计算一次，第二次查表得到 24 if(temp < m[i][j]) 25  { 26 m[i][j] = temp; 27 s[i][j] = k; 28  } 29  } 30  } 31 return m[i][j]; 32 }

4)构造一个最优解

第三步中已经计算出来最小代价，并保存了相关的记录信息。因此只需对s表格进行递归调用展开既可以得到一个最优解。书中给出了伪代码，摘录如下：

1 PRINT_OPTIMAL_PARENS(s,i,j)
2   if i== j 
3 then print "Ai" 4 else 5 print "("; 6  PRINT_OPTIMAL_PARENS(s,i,s[i][j]); 7 PRINT_OPTIMAL_PARENS(s,s[i][j]+1,j); 8 print")";

4、编程实现

　　采用C++语言实现这个过程，现有矩阵A₁(30×35)、A₂(35×15)_、A3(15×5)、A4(5×10)、A5(10×20)、A6(20×25)，得到p=<30,35,15,5,10,20,25>。实现过程定义两个二维数组m和s，为了方便计算其第一行和第一列都忽略，行标和列标都是1开始。完整的程序如下所示：

 1 #include <iostream>
 2 using namespace std;
 3  4 #define N 6  5 #define MAXVALUE 1000000  6  7 void matrix_chain_order(int *p,int len,int m[N+1][N+1],int s[N+1][N+1]);  8 void print_optimal_parents(int s[N+1][N+1],int i,int j);  9 10 int main() 11 { 12 int p[N+1] = {30,35,15,5,10,20,25}; 13 int m[N+1][N+1]={0}; 14 int s[N+1][N+1]={0}; 15 int i,j; 16 matrix_chain_order(p,N+1,m,s); 17 cout<<"m value is: "<<endl; 18 for(i=1;i<=N;++i) 19  { 20 for(j=1;j<=N;++j) 21 cout<<m[i][j]<<" "; 22 cout<<endl; 23  } 24 cout<<"s value is: "<<endl; 25 for(i=1;i<=N;++i) 26  { 27 for(j=1;j<=N;++j) 28 cout<<s[i][j]<<" "; 29 cout<<endl; 30  } 31 cout<<"The result is:"<<endl; 32 print_optimal_parents(s,1,N); 33 return 0; 34 } 35 36 void matrix_chain_order(int *p,int len,int m[N+1][N+1],int s[N+1][N+1]) 37 { 38 int i,j,k,t; 39 for(i=0;i<=N;++i) 40 m[i][i] = 0; 41 for(t=2;t<=N;t++) //当前链乘矩阵的长度 42  { 43 for(i=1;i<=N-t+1;i++) //从第一矩阵开始算起，计算长度为t的最少代价 44  { 45 j=i+t-1;//长度为t时候的最后一个元素 46 m[i][j] = MAXVALUE; //初始化为最大代价 47 for(k=i;k<=j-1;k++) //寻找最优的k值，使得分成两部分k在i与j-1之间 48  { 49 int temp = m[i][k]+m[k+1][j] + p[i-1]*p[k]*p[j]; 50 if(temp < m[i][j]) 51  { 52 m[i][j] = temp; //记录下当前的最小代价 53 s[i][j] = k; //记录当前的括号位置，即矩阵的编号 54  } 55 } 56 } 57 } 58 } 59 60 //s中存放着括号当前的位置 61 void print_optimal_parents(int s[N+1][N+1],int i,int j) 62 { 63 if( i == j) 64 cout<<"A"<<i; 65 else 66 { 67 cout<<"("; 68 print_optimal_parents(s,i,s[i][j]); 69 print_optimal_parents(s,s[i][j]+1,j); 70 cout<<")"; 71 } 72 73 }

程序测试结果如下所示：

5、总结

　　动态规划解决问题关键是分析过程，难度在于如何发现其子问题的结构及子问题的递归解。这个需要多多思考，不是短时间内能明白。在实现过程中遇到问题就是数组，数组的下标问题是个比较麻烦的事情，如何能够过合理的去处理，需要一定的技巧。

 

 

 

《算法导论》读书笔记之第15章 动态规划—最长公共子序列

1、基本概念

　　一个给定序列的子序列就是该给定序列中去掉零个或者多个元素的序列。形式化来讲就是：给定一个序列X={x₁，x₂，……，x_m}，另外一个序列Z={z₁、z₂、……，z_k}，如果存在X的一个严格递增小标序列<i₁，i₂……，i_k>，使得对所有j=1,2，……k，有x_{ij =} z_j，则Z是X的子序列。例如：Z={B,C,D,B}是X={A,B,C,B,D,A,B}的一个子序列，相应的小标为<2,3,5,7>。从定义可以看出子序列直接的元素不一定是相邻的。

公共子序列：给定两个序列X和Y，如果Z既是X的一个子序列又是Y的一个子序列，则称序列Z是X和Y的公共子序列。例如：X={A,B,C,B,D,A,B}，Y={B,D,C,A,B,A}，则序列{B,C,A}是X和Y的一个公共子序列，但不不是最长公共子序列。

最长公共子序列（LCS）问题描述：给定两个序列X={x₁，x₂，……，x_m}和Y={y₁，y₂，……，y_n}，找出X和Y的最长公共子序列。

2、动态规划解决过程

1）描述一个最长公共子序列

　　如果序列比较短，可以采用蛮力法枚举出X的所有子序列，然后检查是否是Y的子序列，并记录所发现的最长子序列。如果序列比较长，这种方法需要指数级时间，不切实际。

　　LCS的最优子结构定理：设X={x₁，x₂，……，x_m}和Y={y₁，y₂，……，y_n}为两个序列，并设Z={z₁、z₂、……，z_k}为X和Y的任意一个LCS，则：

      （1）如果x_m=y_n，那么z_k=x_m=y_n，而且Z_k-1是X_m-1和Y_n-1的一个LCS。

　　（2）如果x_m≠y_n，那么z_k≠x_m蕴含Z是是X_m-1和Y_n的一个LCS。

　　（3）如果x_m≠y_n，那么z_k≠y_n蕴含Z是是X_m和Y_n-1的一个LCS。

　　定理说明两个序列的一个LCS也包含两个序列的前缀的一个LCS，即LCS问题具有最优子结构性质。

2）一个递归解

　　根据LCS的子结构可知，要找序列X和Y的LCS，根据x_m与y_n是否相等进行判断的，如果x_m=y_n则产生一个子问题，否则产生两个子问题。设C[i,j]为序列X_i和Y_j的一个LCS的长度。如果i=0或者j=0，即一个序列的长度为0，则LCS的长度为0。LCS问题的最优子结构的递归式如下所示：

3）计算LCS的长度

　　采用动态规划自底向上计算解。书中给出了求解过程LCS_LENGTH，以两个序列为输入。将计算序列的长度保存到一个二维数组C[M][N]中，另外引入一个二维数组B[M][N]用来保存最优解的构造过程。M和N分别表示两个序列的长度。该过程的伪代码如下所示：

 1 LCS_LENGTH(X,Y)
 2     m = length(X);
 3 n = length(Y);  4 for i = 1 to m  5 c[i][0] = 0;  6 for j=1 to n  7 c[0][j] = 0;  8 for i=1 to m  9 for j=1 to n 10 if x[i] = y[j] 11 then c[i][j] = c[i-1][j-1]+1; 12 b[i][j] = '\'; 13 else if c[i-1][j] >= c[i][j-1] 14 then c[i][j] = c[i-1][j]; 15 b[i][j] = '|'; 16 else 17 c[i][j] = c[i][j-1]; 18 b[i][j] = '-'; 19 return c and b

由伪代码可以看出LCS_LENGTH运行时间为O(mn)。

4）构造一个LCS

　　根据第三步中保存的表b构建一个LCS序列。从b[m][n]开始，当遇到'\'时，表示x_i=y_j，是LCS中的一个元素。通过递归即可求出LCS的序列元素。书中给出了伪代码如下所示：

1 PRINT_LCS(b,X,i,j)
2     if i==0 or j==0 3 then return 4 if b[i][j] == '\' 5 then PRINT_LCS(b,X,i-1,j-1) 6  print X[i] 7 else if b[i][j] == '|' 8 then PRINT_LCS(b,X,i-1,j) 9 else PRINT_LSC(b,X,i,j-1)

3、编程实现

　　现在采用C++语言实现上述过程，例如有两个序列X={A,B,C,B,D,A,B}和Y={B,D,C,A,B,A}，求其最长公共子序列Z。完整程序如下所示：

 1 #include <iostream>
 2 using namespace std;
 3 #define X_LEN 7  4 #define Y_LEN 6  5 #define EQUAL 0  6 #define UP 1  7 #define LEVEL 2  8 void lcs_length(char* X,char* Y,int c[X_LEN+1][Y_LEN+1],int b[X_LEN+1][Y_LEN+1]);  9 void print_lcs(int b[X_LEN+1][Y_LEN+1],char *X,int i,int j); 10 11 int main() 12 { 13 char X[X_LEN+1] = {' ','A','B','C','B','D','A','B'}; 14 char Y[Y_LEN+1] = {' ','B','D','C','A','B','A'}; 15 int c[X_LEN+1][Y_LEN+1]={0}; 16 int b[X_LEN+1][Y_LEN+1] = {0}; 17 int i,j; 18  lcs_length(X,Y,c,b); 19 for(i=0;i<=X_LEN;i++) 20  { 21 for(j=0;j<=Y_LEN;j++) 22 cout<<c[i][j]<<" "; 23 cout<<endl; 24  } 25 cout<<"The length of LCS is: "<<c[X_LEN][Y_LEN]<<endl; 26 cout<<"The longest common subsequence between X and y is: "<<endl; 27  print_lcs(b,X,X_LEN,Y_LEN); 28 return 0; 29 } 30 //采用动态规划方法自底向上的进行计算，寻找最优解 31 void lcs_length(char* X,char* Y,int c[X_LEN+1][Y_LEN+1],int b[X_LEN+1][Y_LEN+1]) 32 { 33 int i,j; 34 //设置边界条件，即i=0或者j=0 35 for(i=0;i<X_LEN;i++) 36 c[i][0] = 0; 37 for(j=0;j<Y_LEN;j++) 38 c[0][j] = 0; 39 for(i=1;i<=X_LEN;i++) 40 for(j=1;j<=Y_LEN;j++) 41  { 42 if(X[i] == Y[j]) //满足递归公式第二条 43 { 44 c[i][j] = c[i-1][j-1]+1; 45 b[i][j] = EQUAL ; 46 } 47 else if(c[i-1][j] >= c[i][j-1]) //递归公式第三条 48 { 49 c[i][j] = c[i-1][j]; 50 b[i][j] = UP; 51 } 52 else 53 { 54 c[i][j] = c[i][j-1]; 55 b[i][j] = LEVEL; 56 } 57 } 58 } 59 void print_lcs(int b[X_LEN+1][Y_LEN+1],char *X,int i,int j) 60 { 61 if(i==0 || j==0) 62 return; 63 if(b[i][j] == EQUAL) 64 { 65 print_lcs(b,X,i-1,j-1); 66 cout<<X[i]<<" "; 67 } 68 else 69 if(b[i][j] == UP) 70 print_lcs(b,X,i-1,j); 71 else 72 print_lcs(b,X,i,j-1); 73 }

程序测试结果如下所示：

 

 

 

《算法导论》读书笔记之第15章 动态规划—最优二叉查找树

　　1、前言：

　　接着学习动态规划方法，最优二叉查找树问题。二叉查找树参考http://www.cnblogs.com/Anker/archive/2013/01/28/2880581.html。如果在二叉树中查找元素不考虑概率及查找不成功的情况下，可以采用红黑树或者平衡二叉树来搜索，这样可以在O(lgn)时间内完成。而现实生活中，查找的关键字是有一定的概率的，就是说有的关键字可能经常被搜索，而有的很少被搜索，而且搜索的关键字可能不存在，为此需要根据关键字出现的概率构建一个二叉树。比如中文输入法字库中各词条（单字、词组等）的先验概率，针对用户习惯可以自动调整词频——所谓动态调频、高频先现原则，以减少用户翻查次数，使得经常用的词汇被放置在前面，这样就能有效地加快查找速度。这就是最优二叉树所要解决的问题。

2、问题描述

　   给定一个由n个互异的关键字组成的有序序列K={k₁<k₂<k₃<,……,<k_n}和它们被查询的概率P={p₁,p₂,p₃,……,p_n}，要求构造一棵二叉查找树T，使得查询所有元素的总的代价最小。对于一个搜索树，当搜索的元素在树内时，表示搜索成功。当不在树内时，表示搜索失败，用一个“虚叶子节点”来标示搜索失败的情况，因此需要n+1个虚叶子节点{d₀<d₁<……<d_n}，对于应d_i的概率序列是Q={q₀,q₁,……,q_n}。其中d₀表示搜索元素小于k₁的失败结果，d_n表示搜索元素大于k_n的失败情况。d_i（0<i<n）表示搜索节点在k_i和k_(i+1)之间时的失败情况。因此有如下公式：

　　由每个关键字和每个虚拟键被搜索的概率，可以确定在一棵给定的二叉查找树T内一次搜索的期望代价。设一次搜索的实际代价为检查的节点个数，即在T内搜索所发现的节点的深度加上1。所以在T内一次搜索的期望代价为：

需要注意的是：一棵最优二叉查找树不一定是一棵整体高度最小的树，也不一定总是把最大概率的关键字放在根部。

（3）动态规划求解过程

1）最优二叉查找树的结构

　　如果一棵最优二叉查找树T有一棵包含关键字k_i，……，k_j的子树T'，那么这棵子树T’对于对于关键字k_i，……k_j和虚拟键d_i-1，……，d_j的子问题也必定是最优的。

2）一个递归解

　　定义e[i,j]为搜索一棵包含关键字ki，……，kj的最优二叉查找树的期望代价，则分类讨论如下：

当j=i-1时，说明此时只有虚拟键d_i-1，故e[i,i-1] = q_i-1

当j≥i时，需要从k_i，……，k_j中选择一个跟k_r，然后用关键字k_i，……，k_r-1来构造一棵最优二叉查找树作为左子树，用关键字k_r+1，……，k_j来构造一棵最优二叉查找树作为右子树。定义一棵有关键字k_i，……，k_j的子树，定义概率的总和为：

因此如果k_r是一棵包含关键字k_i，……，k_j的最优子树的根，则有：

 

故e[i,j]重写为：

最终的递归式如下：

3）计算一棵最优二叉查找树的期望搜索代价

　　将e[i,j]的值保存到一个二维数组e[1..1+n,0..n]中，用root[i,j]来记录关键字ki，……，kj的子树的根，采用二维数组root[1..n,1..n]来表示。为了提高效率，防止重复计算，需要个二维数组w[1..n+1,0...n]来保存w(i,j)的值，其中w[i,j] = w[i,j-1]+p_j+q_j。数组给出了计算过程的伪代码：

 1 OPTIMAL_BST(p,q,n)
 2     for i=1 to n+1 //初始化e和w的值  3 do e[i,i-1] = qi-1;  4 w[i,i-1] = qi-1;  5 for l=1 to n  6 do for i=1 to n-l+1  7 do j=i+l-1;  8 e[i,j] = MAX;  9 w[i,j] = w[i,j-1]+pj+qj; 10 for r=i to j 11 do t=e[i,r-1]+e[r+1,j]+w[i,j] 12 if t<e[i,j] 13 then e[i,j] = t; 14 root[i,j] = r; 15 return e and root;

4）构造一棵最优二叉查找树

　　根据地第三步中得到的root表，可以递推出各个子树的根，从而可以构建出一棵最优二叉查找树。从root[1,n]开始向下递推，一次找出树根，及左子树和右子树。

4、编程实现

　　针对一个具体的实例编程实现，现在有5个关键字，其出现的概率P={0.15，0.10，0.05，0.10，0.20}，查找虚拟键的概率q={0.05，0.10，0.05，0.05，0.05，0.10}。采用C++语言是实现如下：

 1 #include <iostream>
 2  using namespace std;
 3 #define N 5  4 #define MAX 999999.99999  5 void optimal_binary_search_tree(float *p,float *q,int n,float e[N+2][N+1],int root[N+1][N+1]);  6 void construct_optimal_bst1(int root[N+1][N+1],int i,int j);  7 void construct_optimal_bst2(int root[N+1][N+1],int i,int j);  8 int main()  9  { 10 float p[N+1] = {0,0.15,0.10,0.05,0.10,0.20}; 11 float q[N+1] = {0.05,0.10,0.05,0.05,0.05,0.10}; 12 float e[N+2][N+1]; 13 int root[N+1][N+1]; 14 int i,j; 15  optimal_binary_search_tree(p,q,N,e,root); 16 cout<<"各个子树的期望代价如下所示："<<endl; 17 for(i=1;i<=N+1;i++) 18  { 19 for(j=i-1;j<=N;j++) 20 cout<<e[i][j]<<" "; 21 cout<<endl; 22  } 23 cout<<"最优二叉查找树的代价为: "<<e[1][N]<<endl; 24 cout<<"各个子树根如下表所示："<<endl; 25 for(i=1;i<=N;i++) 26  { 27 for(j=i;j<=N;j++) 28 cout<<root[i][j]<<" "; 29 cout<<endl; 30  } 31 cout<<"构造的最优二叉查找树如下所示："<<endl; 32 construct_optimal_bst1(root,1,N); 33 cout<<"\n最优二叉查找树的结构描述如下："<<endl; 34 construct_optimal_bst2(root,1,N); 35 cout<<endl; 36 return 0; 37  } 38 void optimal_binary_search_tree(float *p,float *q,int n,float e[N+2][N+1],int root[N+1][N+1]) 39  { 40 int i,j,k,r; 41 float t; 42 float w[N+2][N+1]; 43 for(i=1;i<=N+1;++i) //主表和根表元素的初始化 44  { 45 e[i][i-1] = q[i-1]; 46 w[i][i-1] = q[i-1]; 47  } 48 for(k=1;k<=n;++k) //自底向上寻找最优子树 49 for(i=1;i<=n-k+1;i++) 50 { 51 j = i+k-1; 52 e[i][j] = MAX; 53 w[i][j] = w[i][j-1]+p[j]+q[j]; 54 55 for(r=i;r<=j;r++) //找最优根 56 { 57 t = e[i][r-1] + e[r+1][j] +w[i][j]; 58 59 if(t < e[i][j]) 60 { 61 e[i][j] = t; 62 root[i][j] = r; 63 } 64 } 65 } 66 } 67 void construct_optimal_bst1(int root[N+1][N+1],int i,int j) 68 { 69 70 if(i<=j) 71 { 72 int r = root[i][j]; 73 cout<<r<<" "; 74 construct_optimal_bst1(root,i,r-1); 75 construct_optimal_bst1(root,r+1,j); 76 } 77 } 78 void construct_optimal_bst2(int root[N+1][N+1],int i,int j) 79 { 80 if(i==1 && j== N) 81 cout<<"k"<<root[1][N]<<"是根"<<endl; 82 if(i<j) 83 { 84 int r = root[i][j]; 85 if(r != i) 86 cout<<"k"<<root[i][r-1]<<"是k"<<r<<"的左孩子"<<endl; 87 construct_optimal_bst2(root,i,r-1); 88 if(r!= j) 89 cout<<"k"<<root[r+1][j]<<"是k"<<r<<"的右孩子"<<endl; 90 construct_optimal_bst2(root,r+1,j); 91 } 92 if(i==j) 93 { 94 cout<<"d"<<i-1<<"是k"<<i<<"左孩子"<<endl; 95 cout<<"d"<<i<<"是k"<<i<<"右孩子"<<endl; 96 } 97 if(i>j) 98 cout<<"d"<<j<<"是k"<<j<<"右孩子"<<endl; 99 }

程序测试结果如下所示：

 

 

 

动态规划方法生成最优二叉查找树

1、概念引入

　　基于统计先验知识，我们可统计出一个数表（集合）中各元素的查找概率，理解为集合各元素的出现频率。比如中文输入法字库中各词条（单字、词组等）的先验概率，针对用户习惯可以自动调整词频——所谓动态调频、高频先现原则，以减少用户翻查次数。这就是最优二叉查找树问题：查找过程中键值比较次数最少，或者说希望用最少的键值比较次数找到每个关键码（键值）。为解决这样的问题，显然需要对集合的每个元素赋予一个特殊属性——查找概率。这样我们就需要构造一颗最优二叉查找树。

 

2、问题给出

　　n个键{a1,a2,a3......an},其相应的查找概率为{p1,p2,p3......pn}。构成最优BST,表示为T ₁ ⁿ ，求这棵树的平均查找次数C[1, n]（耗费最低)。换言之，如何构造这棵最优BST，使得

C[1, n] 最小。

 

3、分段方法

　　 

　　　　动态规划法策略是将问题分成多个阶段，逐段推进计算，后继实例解由其直接前趋实例解计算得到。对于最优BST问题，利用减一技术和最优性原则，如果前n-1个节点构成最优BST，加入一个节点 a n 后要求构成规模n的最优BST。按 n-1, n-2 , ... , 2, 1 递归，问题可解。自底向上计算：C[1, 2]→C[1, 3] →... →C[1, n]。为不失一般性用

C[i, j] 表示由{a1,a2,a3......an}构成的BST的耗费。其中1≤i ≤j ≤n。这棵树表示为Tij。从中选择一个键ak作根节点，它的左子树为Tik-1，右子树为Tk+1j。要求选择的k 使得整棵树的平均查找次数C[i, j]最小。左右子树递归执行此过程。（根的生成过程）

 

 4、递推计算式

 

 

　　5、基本算法如下

　　

6、具体实现代码（其中所有数据都存放在2.txt中，其内容为：

其中5表示有5个节点，其他数据表示各个节点出现的概率；

 1 #include<stdio.h>
 2 #include<stdlib.h>
 3 #define max 9999
 4 void OptimalBST(int,float*,float**,int**);  5 void OptimalBSTPrint(int,int,int**);  6 void main()  7 {  8 int i,num;  9 FILE *point; 10 //所有数据均从2.txt中获取，2.txt中第一个数据表示节点个数；从第二个数据开始表示各个节点的概率 11 point=fopen("2.txt","r"); 12 if(point==NULL) 13  { 14 printf("cannot open 2.txt.\n"); 15 exit(-1); 16  } 17 fscanf(point,"%d",&num); 18 printf("%d\n",num); 19 float *p=(float*)malloc(sizeof(float)*(num+1)); 20 for(i=1;i<num+1;i++) 21 fscanf(point,"%f",&p[i]); 22 //创建主表； 23 float **c=(float**)malloc(sizeof(float*)*(num+2)); 24 for(i=0;i<num+2;i++) 25 c[i]=(float*)malloc(sizeof(float)*(num+1)); 26 //创建根表； 27 int **r=(int**)malloc(sizeof(int*)*(num+2)); 28 for(i=0;i<num+2;i++) 29 r[i]=(int*)malloc(sizeof(int)*(num+1)); 30 //动态规划实现最优二叉查找树的期望代价求解。。 31  OptimalBST(num,p,c,r); 32 printf("该最优二叉查找树的期望代价为：%f \n",c[1][num]); 33 //给出最优二叉查找树的中序遍历结果； 34 printf("构造成的最优二叉查找树的中序遍历结果为："); 35 OptimalBSTPrint(1,4,r); 36 37 } 38 void OptimalBST(int num,float*p,float**c,int**r) 39 { 40 int d,i,j,k,s,kmin; 41 float temp,sum; 42 for(i=1;i<num+1;i++)//主表和根表元素的初始化 43  { 44 45 c[i][i-1]=0; 46 c[i][i]=p[i]; 47 r[i][i]=i; 48  } 49 c[num+1][num]=0; 50 for(d=1;d<=num-1;d++)//加入节点序列 51  { 52 for(i=1;i<=num-d;i++) 53 { 54 j=i+d; 55 temp=max; 56 for(k=i;k<=j;k++)//找最优根 57 { 58 if(c[i][k-1]+c[k+1][j]<temp) 59 { 60 temp=c[i][k-1]+c[k+1][j]; 61 kmin=k; 62 } 63 } 64 r[i][j]=kmin;//记录最优根 65 sum=p[i]; 66 for(s=i+1;s<=j;s++) 67 sum+=p[s]; 68 c[i][j]=temp+sum; 69 } 70 } 71 } 72 //采用递归方式实现最优根的输出，最优根都是保存在r[i][j]中的。。。 73 void OptimalBSTPrint(int first,int last,int**r) 74 { 75 76 int k; 77 if(first<=last) 78 { 79 k=r[first][last]; 80 printf("%d ",k); 81 OptimalBSTPrint(first,k-1,r); 82 OptimalBSTPrint(k+1,last,r); 83 } 84 }

7、最终运行结果：

8、参考文献：

（1）算法导论

（2）数据结构 严蔚敏

 

 

 

《算法导论》读书笔记之第15章 动态规划[总结]

前言：

　　书中列举四个常见问题，分析如何采用动态规划方法进行解决。今天把动态规划算法总结一下。关于四个问题的动态规范分析过程可以参考前面的几篇日志，链接如下：

　　装配线调度问题：http://www.cnblogs.com/Anker/archive/2013/03/09/2951785.html

　　矩阵链乘问题：http://www.cnblogs.com/Anker/archive/2013/03/10/2952475.html

　　最长公共子序列问题：http://www.cnblogs.com/Anker/archive/2013/03/11/2954050.html

　　最优二叉查找树问题：http://www.cnblogs.com/Anker/archive/2013/03/13/2958488.html

1、基本概念

　　动态规划是通过组合子问题的解而解决整个问题的，通过将问题分解为相互不独立（各个子问题包含有公共的子问题，也叫重叠子问题）的子问题，对每个子问题求解一次，将其结果保存到一张辅助表中，避免每次遇到各个子问题时重新计算。动态规划通常用于解决最优化问题，其设计步骤如下：

（1）描述最优解的结构。

（2）递归定义最优解的值。

（3）按自底向上的方式计算最优解的值。

（4）由计算出的结果构造出一个最优解。

　　第一步是选择问题的在什么时候会出现最优解，通过分析子问题的最优解而达到整个问题的最优解。在第二步，根据第一步得到的最优解描述，将整个问题分成小问题，直到问题不可再分为止，层层选择最优，构成整个问题的最优解，给出最优解的递归公式。第三步根据第二步给的递归公式，采用自底向上的策略，计算每个问题的最优解，并将结果保存到辅助表中。第四步骤是根据第三步中的最优解，借助保存在表中的值，给出最优解的构造过程。

动态规划与分治法之间的区别：
（1） 分治法是指将问题分成一些独立的子问题，递归的求解各子问题。
（2） 动态规划适用于这些子问题不是独立的情况，也就是各子问题包含公共子问题。

2、动态规划基础

　　什么时候可以使用动态规范方法解决问题呢？这个问题需要讨论一下，书中给出了采用动态规范方法的最优化问题中的两个要素：最优子结构和重叠子结构。

1）最优子结构

　　最优子结构是指问题的一个最优解中包含了其子问题的最优解。在动态规划中，每次采用子问题的最优解来构造问题的一个最优解。寻找最优子结构，遵循的共同的模式：

（1）问题的一个解可以是做一个选择，得到一个或者多个有待解决的子问题。

（2）假设对一个给定的问题，已知的是一个可以导致最优解的选择，不必关心如何确定这个选择。

（3）在已知这个选择后，要确定哪些子问题会随之发生，如何最好地描述所得到的子问题空间。

（4）利用“剪贴”技术，来证明问题的一个最优解中，使用的子问题的解本身也是最优的。

最优子结构在问题域中以两种方式变化：

（1）有多少个子问题被使用在原问题的一个最优解中。

（2）在决定一个最优解中使用哪些子问题时有多少个选择。

　　动态规划按照自底向上的策略利用最优子结构，即：首先找到子问题的最优解，解决子问题，然后逐步向上找到问题的一个最优解。为了描述子问题空间，可以遵循这样一条有效的经验规则，就是尽量保持这个空间简单，然后在需要时再扩充它。

注意：在不能应用最优子结构的时候，就一定不能假设它能够应用。 警惕使用动态规划去解决缺乏最优子结构的问题！

使用动态规划时，子问题之间必须是相互独立的！可以这样理解，N个子问题域互不相干，属于完全不同的空间。

2）重叠子问题

　　用来解决原问题的递归算法可以反复地解同样的子问题，而不是总是产生新的子问题。重叠子问题是指当一个递归算法不断地调用同一个问题。动态规划算法总是充分利用重叠子问题，通过每个子问题只解一次，把解保存在一个需要时就可以查看的表中，每次查表的时间为常数。

　　由计算出的结果反向构造一个最优解：把动态规划或者是递归过程中作出的每一次选择（记住：保存的是每次作出的选择）都保存下来，在最后就一定可以通过这些保存的选择来反向构造出最优解。
　　做备忘录的递归方法：这种方法是动态规划的一个变形，它本质上与动态规划是一样的，但是比动态规划更好理解！
　　（1） 使用普通的递归结构，自上而下的解决问题。
　　（2） 当在递归算法的执行中每一次遇到一个子问题时，就计算它的解并填入一个表中。以后每次遇到该子问题时，只要查看并返回表中先前填入的值即可。

3、总结

　　动态规划的核心就是找到问题的最优子结构，在找到最优子结构之后的消除重复子问题。最终无论是采用动态规划的自底向上的递推，还是备忘录，或者是备忘录的变型，都可以轻松的找出最优解的构造过程。