【动态规划】矩阵连乘问题

          问题描述：给定n个矩阵：A1,A2,...,An，其中Ai与Ai+1是可乘的，i=1，2...，n-1。确定计算矩阵连乘积的计算次序，使得依此次序计算矩阵连乘积需要的数乘次数最少。输入数据为矩阵个数和每个矩阵规模，输出结果为计算矩阵连乘积的计算次序和最少数乘次数。

      问题解析：由于矩阵乘法满足结合律，故计算矩阵的连乘积可以有许多不同的计算次序。这种计算次序可以用加括号的方式来确定。若一个矩阵连乘积的计算次序完全确定，也就是说该连乘积已完全加括号，则可以依此次序反复调用2个矩阵相乘的标准算法计算出矩阵连乘积。

       完全加括号的矩阵连乘积可递归地定义为：

     （1）单个矩阵是完全加括号的；

     （2）矩阵连乘积A是完全加括号的，则A可表示为2个完全加括号的矩阵连乘积B和C的乘积并加括号，即A=(BC)

       例如，矩阵连乘积A1A2A3A4有5种不同的完全加括号的方式：(A1(A2(A3A4)))，(A1((A2A3)A4))，((A1A2)(A3A4))，((A1(A2A3))A4)，(((A1A2)A3)A4)。每一种完全加括号的方式对应于一个矩阵连乘积的计算次序，这决定着作乘积所需要的计算量。

      看下面一个例子，计算三个矩阵连乘{A1，A2，A3}；维数分别为10*100 , 100*5 , 5*50 按此顺序计算需要的次数((A1*A2)*A3):10X100X5+10X5X50=7500次，按此顺序计算需要的次数(A1*(A2*A3)):10*5*50+10*100*50=52500次

      所以问题是：如何确定运算顺序，可以使计算量达到最小化。      

      算法思路：

      例：设要计算矩阵连乘乘积A1A2A3A4A5A6，其中各矩阵的维数分别是：

      A1：30*35;     A2：35*15;     A3：15*5;     A4：5*10;     A5：10*20;     A6：20*25 

      递推关系：

      设计算A[i:j]，1≤i≤j≤n，所需要的最少数乘次数m[i,j]，则原问题的最优值为m[1,n]。

      当i=j时，A[i:j]=Ai，因此，m[i][i]=0，i=1,2,…,n
      当i<j时，若A[i:j]的最优次序在Ak和Ak+1之间断开，i<=k<j,则：m[i][j]=m[i][k]+m[k+1][j]+pi-1pkpj。由于在计算是并不知道断开点k的位置，所以k还未定。不过k的位置只有j-i个可能。因此，k是这j-i个位置使计算量达到最小的那个位置。

      综上，有递推关系如下：

          

      构造最优解：

      若将对应m[i][j]的断开位置k记为s[i][j]，在计算出最优值m[i][j]后，可递归地由s[i][j]构造出相应的最优解。s[i][j]中的数表明，计算矩阵链A[i:j]的最佳方式应在矩阵Ak和Ak+1之间断开，即最优的加括号方式应为(A[i:k])(A[k+1:j)。因此，从s[1][n]记录的信息可知计算A[1:n]的最优加括号方式为(A[1:s[1][n]])(A[s[1][n]+1:n])，进一步递推，A[1:s[1][n]]的最优加括号方式为(A[1:s[1][s[1][n]]])(A[s[1][s[1][n]]+1:s[1][s[1][n]]])。同理可以确定A[s[1][n]+1:n]的最优加括号方式在s[s[1][n]+1][n]处断开...照此递推下去，最终可以确定A[1:n]的最优完全加括号方式，及构造出问题的一个最优解。

      1、穷举法

      列举出所有可能的计算次序，并计算出每一种计算次序相应需要的数乘次数，从中找出一种数乘次数最少的计算次序。

      对于n个矩阵的连乘积，设其不同的计算次序为P(n)。每种加括号方式都可以分解为两个子矩阵的加括号问题：(A1...Ak)(Ak+1…An)可以得到关于P(n)的递推式如下：

      

      以上递推关系说明，P(n)是随n的增长呈指数增长的。因此，穷举法不是一个多项式时间复杂度算法。

      2、重叠递归

      从以上递推关系和构造最优解思路出发，即可写出有子问题重叠性的递归代码实现：

[cpp]  view plain  copy

1. //3d1-1 重叠子问题的递归最优解  
2. //A1 30*35 A2 35*15 A3 15*5 A4 5*10 A5 10*20 A6 20*25  
3. //p[0-6]={30,35,15,5,10,20,25}  
4. #include "stdafx.h"  
5. #include <iostream>   
6. using namespace std;   
7.   
8. const int L = 7;  
9.   
10. int RecurMatrixChain(int i,int j,int **s,int *p);//递归求最优解  
11. void Traceback(int i,int j,int **s);//构造最优解  
12.   
13. int main()  
14. {  
15.     int p[L]={30,35,15,5,10,20,25};  
16.   
17.     int **s = new int *[L];  
18.     for(int i=0;i<L;i++)    
19.     {    
20.         s[i] = new int[L];    
21.     }   
22.   
23.     cout<<"矩阵的最少计算次数为："<<RecurMatrixChain(1,6,s,p)<<endl;  
24.     cout<<"矩阵最优计算次序为："<<endl;  
25.     Traceback(1,6,s);  
26.     return 0;  
27. }  
28.   
29. int RecurMatrixChain(int i,int j,int **s,int *p)  
30. {  
31.     if(i==j) return 0;  
32.     int u = RecurMatrixChain(i,i,s,p)+RecurMatrixChain(i+1,j,s,p)+p[i-1]*p[i]*p[j];  
33.     s[i][j] = i;  
34.   
35.     for(int k=i+1; k<j; k++)  
36.     {  
37.         int t = RecurMatrixChain(i,k,s,p) + RecurMatrixChain(k+1,j,s,p) + p[i-1]*p[k]*p[j];  
38.         if(t<u)  
39.         {  
40.             u=t;  
41.             s[i][j]=k;  
42.         }  
43.     }  
44.     return u;  
45. }  
46.   
47. void Traceback(int i,int j,int **s)  
48. {  
49.     if(i==j) return;  
50.     Traceback(i,s[i][j],s);  
51.     Traceback(s[i][j]+1,j,s);  
52.     cout<<"Multiply A"<<i<<","<<s[i][j];  
53.     cout<<" and A"<<(s[i][j]+1)<<","<<j<<endl;  
54. }  

       用算法RecurMatrixChain(1,4,s,p)计算a[1:4]的计算递归树如下图所示：

      从上图可以看出很多子问题被重复运算。可以证明，该算法的计算时间T(n)有指数下界。设算法中判断语句和赋值语句为常数时间，则由算法的递归部分可得关于T(n)的递归不等式：

     用数学归纳法可以证明，因此，算法RecurMatrixChain的计算时间也随n指数增长。

     3、备忘录递归算法

     备忘录方法用表格保存已解决的子问题答案，在下次需要解决此子问题时，只要简单查看该子问题的解答，而不必重新计算。备忘录方法为每一个子问题建立一个记录项，初始化时，该记录项存入一个特殊的值，表示该子问题尚未求解。在求解的过程中，对每个带求的子问题，首先查看其相应的记录项。若记录项中存储的是初始化时存入的特殊值，则表示该问题是第一次遇到，此时计算出该子问题的解，并将其保存在相应的记录项中，以备以后查看。若记录项中存储的已不是初始化时存入的特殊值，则表示该子问题已被计算过，相应的记录项中存储的是该子问题的解答。此时从记录项中取出该子问题的解答即可，而不必重新计算。

[cpp]  view plain  copy

1. //3d1-2 矩阵连乘 备忘录递归实现  
2. //A1 30*35 A2 35*15 A3 15*5 A4 5*10 A5 10*20 A6 20*25  
3. //p[0-6]={30,35,15,5,10,20,25}  
4. #include "stdafx.h"  
5. #include <iostream>   
6. using namespace std;   
7.   
8. const int L = 7;  
9.   
10. int LookupChain(int i,int j,int **m,int **s,int *p);  
11. int MemoizedMatrixChain(int n,int **m,int **s,int *p);  
12.   
13. void Traceback(int i,int j,int **s);//构造最优解  
14.   
15. int main()  
16. {  
17.     int p[L]={30,35,15,5,10,20,25};  
18.   
19.     int **s = new int *[L];  
20.     int **m = new int *[L];  
21.     for(int i=0;i<L;i++)    
22.     {    
23.         s[i] = new int[L];  
24.         m[i] = new int[L];  
25.     }   
26.   
27.     cout<<"矩阵的最少计算次数为："<<MemoizedMatrixChain(6,m,s,p)<<endl;  
28.     cout<<"矩阵最优计算次序为："<<endl;  
29.     Traceback(1,6,s);  
30.     return 0;  
31. }  
32.   
33. int MemoizedMatrixChain(int n,int **m,int **s,int *p)  
34. {  
35.     for(int i=1; i<=n; i++)  
36.     {  
37.         for(int j=1; j<=n; j++)  
38.         {  
39.             m[i][j]=0;  
40.         }  
41.     }  
42.     return LookupChain(1,n,m,s,p);  
43. }  
44.   
45. int LookupChain(int i,int j,int **m,int **s,int *p)  
46. {  
47.     if(m[i][j]>0)  
48.     {  
49.         return m[i][j];  
50.     }  
51.     if(i==j)  
52.     {  
53.         return 0;  
54.     }  
55.   
56.     int u = LookupChain(i,i,m,s,p) + LookupChain(i+1,j,m,s,p)+p[i-1]*p[i]*p[j];  
57.     s[i][j]=i;  
58.     for(int k=i+1; k<j; k++)  
59.     {  
60.         int t = LookupChain(i,k,m,s,p) + LookupChain(k+1,j,m,s,p) + p[i-1]*p[k]*p[j];  
61.         if(t<u)  
62.         {  
63.             u=t;  
64.             s[i][j] = k;  
65.         }  
66.     }  
67.     m[i][j] = u;  
68.     return u;  
69. }  
70.   
71. void Traceback(int i,int j,int **s)  
72. {  
73.     if(i==j) return;  
74.     Traceback(i,s[i][j],s);  
75.     Traceback(s[i][j]+1,j,s);  
76.     cout<<"Multiply A"<<i<<","<<s[i][j];  
77.     cout<<" and A"<<(s[i][j]+1)<<","<<j<<endl;  
78. }  

       算法通过数组m记录子问题的最优值，m初始化为0，表明相应的子问题还没有被计算。在调用LookupChain时，若m[i][j]>0，则表示其中存储的是所要求子问题的计算结果，直接返回即可。否则与直接递归算法一样递归计算，并将计算结果存入m[i][j]中返回。备忘录算法耗时O(n^3)，将直接递归算法的计算时间从2^n降至O(n^3)。

      3、动态规划迭代实现

     用动态规划迭代方式解决此问题，可依据其递归式自底向上的方式进行计算。在计算过程中，保存已解决的子问题的答案。每个子问题只计算一次，而在后面需要时只需简单检查一下，从而避免了大量的重复计算，最终得到多项式时间的算法。

[cpp]  view plain  copy

1. //3d1-2 矩阵连乘 动态规划迭代实现  
2. //A1 30*35 A2 35*15 A3 15*5 A4 5*10 A5 10*20 A6 20*25  
3. //p[0-6]={30,35,15,5,10,20,25}  
4. #include "stdafx.h"  
5. #include <iostream>   
6. using namespace std;   
7.   
8. const int L = 7;  
9.   
10. int MatrixChain(int n,int **m,int **s,int *p);   
11. void Traceback(int i,int j,int **s);//构造最优解  
12.   
13. int main()  
14. {  
15.     int p[L]={30,35,15,5,10,20,25};  
16.   
17.     int **s = new int *[L];  
18.     int **m = new int *[L];  
19.     for(int i=0;i<L;i++)    
20.     {    
21.         s[i] = new int[L];  
22.         m[i] = new int[L];  
23.     }   
24.   
25.     cout<<"矩阵的最少计算次数为："<<MatrixChain(6,m,s,p)<<endl;  
26.     cout<<"矩阵最优计算次序为："<<endl;  
27.     Traceback(1,6,s);  
28.     return 0;  
29. }  
30.   
31. int MatrixChain(int n,int **m,int **s,int *p)  
32. {  
33.     for(int i=1; i<=n; i++)  
34.     {  
35.         m[i][i] = 0;  
36.     }  
37.     for(int r=2; r<=n; r++) //r为当前计算的链长（子问题规模）    
38.     {  
39.         for(int i=1; i<=n-r+1; i++)//n-r+1为最后一个r链的前边界    
40.         {  
41.             int j = i+r-1;//计算前边界为r，链长为r的链的后边界    
42.   
43.             m[i][j] = m[i+1][j] + p[i-1]*p[i]*p[j];//将链ij划分为A(i) * ( A[i+1:j] )   
44.   
45.             s[i][j] = i;  
46.   
47.             for(int k=i+1; k<j; k++)  
48.             {  
49.                 //将链ij划分为( A[i:k] )* (A[k+1:j])     
50.                 int t = m[i][k] + m[k+1][j] + p[i-1]*p[k]*p[j];  
51.                 if(t<m[i][j])  
52.                 {  
53.                     m[i][j] = t;  
54.                     s[i][j] = k;  
55.                 }  
56.             }  
57.         }  
58.     }  
59.     return m[1][L-1];  
60. }  
61.   
62. void Traceback(int i,int j,int **s)  
63. {  
64.     if(i==j) return;  
65.     Traceback(i,s[i][j],s);  
66.     Traceback(s[i][j]+1,j,s);  
67.     cout<<"Multiply A"<<i<<","<<s[i][j];  
68.     cout<<" and A"<<(s[i][j]+1)<<","<<j<<endl;  
69. }  

     上述迭代算法的运行过程如下图所示：

     如图所示：

     当R=2时，先迭代计算出：

     m[1:2]=m[1:1]+m[2:2}+p[0]*p[1]*p[2]；

     m[2:3]=m[2:2]+m[3:3]+p[1]*p[2]*p[3];

     m[3:4]=m[3:3]+m[4][4]+p[2]*p[3]*p[4];

     m[4:5]=m[4:4]+m[5][5]+p[3]*p[4]*p[5];

     m[5:6]=m[5][5]+m[6][6]+p[4]*p[5]*p[6]的值；

     当R=3时，迭代计算出：

     m[1:3]=min(m[1:1]+m[2:3]+p[0]*p[1]*p[3],m[1:2]+m[3:3]+p[0]*p[2]*p[3]);

     m[2:4]=min(m[2:2]+m[3:4]+p[1]*p[2]*p[4],m[2:3]+m[4:4]+p[1]*p[3]*p[4]);

     ......

     m[4:6]=min(m[4:4]+m[5:6]+p[3]*p[4]*p[6],m[4:5]+m[6:6]+p[3]*p[5]*p[6]);

     ......

     依次类推，根据之前计算的m值，迭代计算最优解。与备忘录方法相比，此方法会将每个子问题计算一遍，而备忘录方法则更灵活，当子问题中的部分子问题不必求解释，用备忘录方法较有利，因为从控制结构可以看出，该方法只解那些确实需要求解的子问题。

     程序运行结果如下：