最优化方法(学习笔记)-第九章复杂度计算

矩阵结构和算法复杂度

• 定义Flop Count

  • 浮点运算（浮点运算）：两个浮点数的一个加法、减法、乘法或除法。
  • 估计算法的复杂性：将flop数表示为问题维数的（多项式）函数，并通过只保留前导项
  • 不是计算时间的准确预测器，支持读写，并行计算
  • 是近似估计

• 举例

  • $x,y\in R^n，x^{T}y={\sum }_i{x}_i{y}_i⟹n+(n-1)=2n-1⟺O(n)$
  • $A\in R^{m\times n}，x\in R^n，Ax⟹m(2n-1)⟺O(mn)\stackrel{m=n}{=}O(n^2)$
  • $A\in R^{m\times n}，B\in R^{n\times p}，AB⟹mp(2n-1)⟺O(mnp)\stackrel{m=n=p}{=}O(n^3)$

  当A是稀疏，Banded，Toeplitz等状态下可以被分解，简化复杂度。

• 特例：线性等式【Ax=b】

  • A是对角阵，$O(n)$
    

  • A是下三角阵，$O(n^2)$
    

  • A是正交矩阵orthogonal matrices，$O(n^2)$
    

  • A是置换(全错排)矩阵permutation matrices，$O(0)$
    

用分解矩阵求解线性方程Ax=b

• 矩阵A可以由一些简单的矩阵组合得到，$A=A_1{A}_2...A_k，A_i$可能是对角矩阵，上三角矩阵等
• 求解x可以通过传递求解k个简单的等式
  
• 整个x向量有m个未知数待求
  

简化Ax=b求解的复杂度

LU分解–A是非奇异矩阵

• 简单得说就是先用矩阵L做消元，然后再左乘$L^{-1}$。
  比如
  

• 于是L矩阵就是$\left[\begin{array}{cc}1& 0\\ -3& 1\end{array}\right]，A=L^{-1}LA=L^{\prime }{U}^{\prime }$

$注：L^{\prime }=L^{-1},U^{\prime }=LA=\left[\begin{array}{cc}1& 2\\ 0& -2\end{array}\right]$

• 对于需要多步消元的矩阵A，可以转化为$A=\underset{\text{下三角矩阵}}{\underbrace{L_1^{-1}...L_{n-1}^{-1}}}\underset{\text{上三角矩阵}}{\underbrace{L_{n-1}...L_{1}A}}=L^{\prime }{U}^{\prime }$

• 计算复杂度：每一k行都需要相乘和相加，于是第k行的flop=2(n-k+1)(n-k)
  

$FlopCount={\sum }_{k=1}^{n-1}2(n-k+1)(n-k)$

$=2{\sum }_{k=1}^{n-1}(n-k{)}^2+\underset{\text{可忽略}}{\underbrace{\sum (n-k)}}$

$=2\frac{(n-1)(2n-1)n}{6}\sim O(\frac{2}{3}{n}^3)$

• 假若A是稀疏矩阵，且无法实现标准的消元，可以先将矩阵A的行/列进行置换
  

Cholesky分解–A是对称正定矩阵

可以将A分解为$A=L{L}^T$，本质还是LU分解，但是复杂度是$O(\frac{n^3}{3})$

块求解和矩阵反转引理

分块矩阵方程求解

假如矩阵A的性质不太统一,可以将A分块,分出具有特殊性质的子矩阵.

• 复杂度: $A_{11}因为是对角矩阵,所以A_{11}^{-1}\sim O(n_1)$
  
  自己画图领会一下
  • $x_1\sim A_{11}^{-1}{A}_{12}{x}_2\sim O(n_1{n}_2)$
  • $x_2的算式中\underset{O(n_1{n}_2^2)}{\underbrace{(A_{21}{A}_{11}^{-1}{A}_{12})}},\underset{O(n_2{n}_1)}{\underbrace{A_{21}{A}_{11}^{-1}{b}_1}}\sim O(n_1{n}_2^2)$
  • 最终的矩阵等式$:[n_2\times n_2]x_2=[n_2\times 1],$根据矩阵分解的复杂度计算[LU分解的结论]$,A_{n_2}{x}_2=b_{n_2}\sim O(n_2^3)$

分块后计算的复杂度($O(n_1{n}_2+n_1{n}_2^2+n_2^3))<<O((n_1+n_2{)}^3)$

注意: $A_{21}\ast \underset{\text{先算}}{\underbrace{A_{11}^{-1}b}}比\underset{\text{先算}}{\underbrace{A_{21}{A}_{11}^{-1}}}b$的复杂度降低

结构化矩阵加上低秩项

• 将等式转化为矩阵等式
  

• 然后求解$(I+C{A}^{-1}B)y=C{A}^{-1}b,Ax=b-By$
  $y=(I+C{A}^{-1}B{)}^{-1}C{A}^{-1}b$
  假设A是对角矩阵(可逆)
  $x=A^{-1}(I-B(I+C{A}^{-1}B{)}^{-1}C{A}^{-1})b$

• 推导出矩阵求逆公式matrix inversion lemma
  
  $⟹(A+BC{)}^{-1}=A^{-1}(I-B(I+C{A}^{-1}B{)}^{-1}C{A}^{-1})$

• 计算复杂度的两种方法
  
  

总结

• 矩阵结构和算法复杂度
  • $x,y\in R^n，x^{T}y\sim O(n)$
  • $A\in R^{m\times n}，x\in R^n，Ax\sim O(n^2)$
  • $A\in R^{m\times n}，B\in R^{n\times p}，AB\sim O(n^3)$
  • A是对角阵$\sim O(n)$
  • A是下三角阵$\sim O(n^2)$
  • A是正交矩阵$\sim O(n^2)$
  • A是置换矩阵$\sim O(0)$
• 用分解矩阵求解线性方程Ax=b
  $A=A_1{A}_2...A_k，A_i$可能是对角矩阵，上三角矩阵等
• 简化Ax=b求解的复杂度（LU, Cholesky分解)
  • LU分解–A是非奇异矩阵
    $A=L^{-1}LA=L^{\prime }{U}^{\prime },Ax=b\sim O(\frac{2}{3}{n}^3)$
  • Cholesky分解–A是对称正定矩阵
    $A=L{L}^T,Ax=b\sim O(\frac{n^3}{3})$
• 块求解和矩阵反转引理
  • 分块矩阵方程求解
    思想: 将A分块,分出具有特殊性质的子矩阵
  • 结构化矩阵加上低秩项
    矩阵求逆公式$(A+BC{)}^{-1}=A^{-1}(I-B(I+C{A}^{-1}B{)}^{-1}C{A}^{-1})$