Matrix Analysis And Application

Preface

写在前面的话

此笔记是基于某个笔记增删该而来，如有侵权，请联系我哦! 当然有错误也可以联系我哦！

联系方式：发送邮件

最新下载地址:下载地址

Background

Vector

• 线性相关
  存在一组 $a_1,a_2,...a_k$ 不全为零的数，使得 $a_1{\vec{x}}_1+a_2{\vec{x}}_2+...+a_k{\vec{x}}_k=\vec{0}$ ，那么可以称这组向量 ${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_k$ 是线性相关的。

• 线性无关
  当且仅当 $a_1,a_2,...a_k$ 全都为0时， $a_1{\vec{x}}_1+a_2{\vec{x}}_2+...+a_k{\vec{x}}_k=\vec{0}$ 才成立，，那么可以称这组向量 ${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_k$ 是线性无关的。

• 极大线性无关组
  如果线性无关的 ${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_k$ 是向量组 $\vec{x}$ 部分组，且 $\vec{x}$ 中任一向量都可以用 ${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_k$ 表示，那么 ${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_k$ 就是一个极大线性无关组或最大线性无关组。

• 向量运算
  内积 $\vec{a}\cdot \vec{b}=\sum a_i{b}_i$
  叉积 $\vec{a}\times \vec{b}=\left[\begin{array}{ccc}\vec{i}& \vec{j}& \vec{k}\\ a_x& a_y& a_z\\ b_x& b_y& b_z\end{array}\right]$

• 范数

  • ${\Vert x\Vert }_1=\sum |x_i|$
  • ${\Vert x\Vert }_2=\sqrt{{\sum }_i{x}_i^2}$
  • ∥ x ∥ ∞ = max ⁡ { ∣ x i ∣ } \left\| {x} \right\| _{\infty} = \max\{|x_i|\} ∥x∥∞​=max{∣xi​∣}
  • ${\Vert x\Vert }_p=(\sum |x_i{|}^p{)}^{\frac{1}{p}}$
  • 向量范数的性质：
    1. $\Vert x\Vert \ge 0$
    2. $\Vert kx\Vert =k\Vert x\Vert$
    3. $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$

Matrix

• 矩阵转置

$$A^T=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{n1}\\ a_{12}& a_{22}& \cdots & a_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ a_{1n}& a_{2n}& \cdots & a_{nn}\end{array}\right]$$

$$(AB{)}^T=B^T{A}^T$$

$$(A+B{)}^T=A^T+B^T$$

$$(kA{)}^T=k{A}^T$$

• 共轭转置
  $$A^H=(\bar{A}{)}^T$$
  eg. $${\left(\begin{array}{cc}1& 2+i\\ 1-i& 2\end{array}\right)}^H=\left(\begin{array}{cc}1& 1+i\\ 2-i& 2\end{array}\right)$$
  酉矩阵：复数域上的正交矩阵$u_i^H{u}_j=\{\begin{array}{cc}0,& i\ne j\\ 1,& i=j\end{array}$
  Hermitian矩阵：$A^H=A$，例如$U_1{U}_1^H=(U_1{U}_1^H{)}^H$

• 伴随矩阵
  $$A^{\ast }=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]$$
  $A_{ij}=(-1{)}^{i+j}{M}_{ij}$

• 矩阵的迹

$$tr(A)=\sum _i^n{a}_{ii}=\sum _i^n{\lambda }_i$$

$$a=tr(a)$$

$$tr(AB)=tr(BA)$$

$$tr(A+B)=tr(A)+tr(B)$$

$$tr(A)=tr(A^T)$$

$$tr(A^{T}B)=\sum _{i,j}{A}_{ij}{B}_{ij}$$

$$tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)$$

• 范数
  $${\Vert A\Vert }_F=\sqrt{\sum _{i,j}{a}_{ij}^2}=\sqrt{tr(A{A}^T)}$$
  $${\Vert A\Vert }_2=\sqrt{{\lambda }_{\max }(A^{T}A)}={\delta }_{\max }(A)$$
  $${\Vert A\Vert }_1=\underset{j}{\max }\sum _{i=1}^n|a_{ij}|$$
  $${\Vert A\Vert }_{\infty }=\underset{i}{\max }\sum _{j=1}^n|a_{ij}|$$
  $${\Vert A\Vert }_{\ast }=\sum \delta (A)$$
  $${\Vert A\Vert }_p=\underset{{\Vert x\Vert }_p=1}{\max }{\Vert Ax\Vert }_p$$
  矩阵范数满足：

  1. $\Vert A\Vert \ge 0$
  2. $\Vert kA\Vert =k\Vert A\Vert$
  3. $\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$
  4. $\Vert AB\Vert \le \Vert A\Vert \cdot \Vert B\Vert$

• 谱半径
  $\rho (A)=\max |\lambda (A)|$

  1. 谱半径不是范数
  2. 若A是Hermitian矩阵,则$\rho (A)={\Vert A\Vert }_2$
  3. $\rho (A)={\inf }_{\Vert \cdot \Vert }\Vert A\Vert$
  4. ${\sum }_k{A}^k$收敛$\Rightarrow A^k\to 0,\rho (A)<1$
  5. ${\Vert A^k\Vert }^{\frac{1}{k}}\to \rho (A)$

• 标准正交矩阵$U=[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n]$
  $${\alpha }_i^T{\alpha }_j=\{\begin{array}{cc}1,& i\ne j\\ 0,& i=j\end{array}$$
  满足如下性质：

  1. $U^{-1}=U^T$
  2. $rank(U)=n$
  3. $U^{T}U=U{U}^T=E$
  4. $\Vert U\cdot A\Vert =\Vert A\Vert$

• 部分列正交矩阵$U=[U_1,U_2]$
  $U_1=[u_1,u_2,\cdots ,u_r]\in R^{n\times r}$
  $u_i^T{u}_j=\{\begin{array}{cc}0,& i\ne j\\ 1,& i=j\end{array}$
  $U_1^T{U}_1=E_{r\times r}$
  $U{U}^T=[U_1,U_2]\left(\begin{array}{c}{U}_1\\ U_2\end{array}\right)=U_1{U}_1^T+U_2{U}_2^T=E$
  $U_2$是正交补

• 正交化
  有一组向量$a_1,a_2,\cdots ,a_n$ 寻找$q_1,q_2,\cdots ,q_n$使得
  s p a n { a 1 , a 2 , ⋯   , a n } = s p a n { q 1 , q 2 , ⋯   , q n } span\{a_1, a_2, \cdots, a_n\}=span\{q_1, q_2, \cdots, q_n\} span{a1​,a2​,⋯,an​}=span{q1​,q2​,⋯,qn​}
  且$Q=[q_1,q_2,\cdots ,q_n]$是标准正交矩阵
  Gram-Schmidt

  1. s p a n { q 1 } = s p a n { a 1 } span\{q_1\}=span\{a_1\} span{q1​}=span{a1​}， 则$q_1=\frac{a_1}{\Vert a_1\Vert }$
  2. 假设 s p a n { a 1 , a 2 , ⋯   , a k } = s p a n { q 1 , q 2 , ⋯   , q k } span\{a_1, a_2, \cdots, a_k\}=span\{q_1, q_2, \cdots, q_k\} span{a1​,a2​,⋯,ak​}=span{q1​,q2​,⋯,qk​}且满足$q_i\perp q_j,i\ne j,\Vert q_i\Vert =1$
  3. 如何构造$q_{k+1}$使其满足： { s p a n { q 1 , q 2 , ⋯   , q k } ⊕ s p a n { q k + 1 } = s p a n { a 1 , a 2 , ⋯   , a k + 1 } q k + 1 ⊥ q i , i = 1 , 2 , ⋯   , k ∥ q k + 1 ∥ = 1 \left\{ \begin{aligned} & span\{q_1, q_2, \cdots, q_k\} \oplus span\{q_{k+1}\} = span\{a_1, a_2, \cdots, a_{k+1}\}\\ & q_{k+1} \perp q_i, i = 1,2, \cdots, k\\ & \left\| q_{k+1} \right\| =1 \end{aligned} \right. ⎩⎪⎨⎪⎧​​span{q1​,q2​,⋯,qk​}⊕span{qk+1​}=span{a1​,a2​,⋯,ak+1​}qk+1​⊥qi​,i=1,2,⋯,k∥qk+1​∥=1​
     $a_{k+1}=\sum_{i=1}^{k+1}r_{i,k+1} q_i
     \Rightarrow q_i^{Ta_{k+1}=r_{i,k+1}q_i}Tq_i
     $
     
     $q_{k+1}=\frac{a_{k+1}-{\sum }_{i=1}^k{r}_{i,k+1}{q}_i}{\Vert a_{k+1}-{\sum }_{i=1}^k{r}_{i,k+1}{q}_i\Vert }$, 其中$r_{i,k+1}=q_i^T{a}_{k+1},i=1,2,3,\cdots ,k$
     从QR Decomposition看Gram-Schmidt：
     $$[a_1,a_2,\cdots ,a_n]=[q_1,q_2,\cdots ,q_n]\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1n}\\ 0& r_{22}& \cdots & r_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & r_{nn}\end{array}\right]$$
     $$\Rightarrow \{\begin{array}{rl}& a_1=r_{11}{q}_1\\ & a_2=r_{12}{q}_1+r_{22}{q}_2\\ & ⋮\end{array}\Rightarrow \{\begin{array}{rl}& q_1=\frac{a_1}{\Vert a_1\Vert }\\ & q_2=\frac{a_2-r_{12}{q}_1}{\Vert a_2-r_{12}{q}_1\Vert }\\ & ⋮\end{array}$$
     Arnoldi分解：在 K k ( A , r 0 ) = s p a n { r 0 , A r 0 , ⋯   , A k − 1 r 0 } \Kappa_k(A,r_0)=span\{r_0,Ar_0,\cdots,A^{k-1}r_0\} Kk​(A,r0​)=span{r0​,Ar0​,⋯,Ak−1r0​}上运用Gram-Schmidt

     1. 令$v_1=\frac{r_0}{\Vert r_0\Vert }$

     2. 假设已构造 { v 1 , v 2 , ⋯   , v k } , v k ∈ K k ( A , r 0 ) , q i ⊥ q j , i ≠ j , ∥ v i ∥ = 1 \{v_1, v_2, \cdots, v_k\}, v_k \in \Kappa_k(A,r_0), q_i \perp q_j, i \neq j, \left\|v_i\right\|=1 {v1​,v2​,⋯,vk​},vk​∈Kk​(A,r0​),qi​⊥qj​,i​=j,∥vi​∥=1

     3. 如何构造$v_{k+1}$使其满足：$\{\begin{array}{rl}& v_{k+1}\in {\mathrm{K}}_{k+1}(A,r_0)\\ & v_{k+1}\perp v_i,i=1,2,\cdots ,k\\ & \Vert v_{k+1}\Vert =1\end{array}$
        v k + 1 ∈ K k + 1 ( A , r 0 ) = K k ( A , r 0 ) ⊕ s p a n { A v k } = s p a n { v 1 , v 2 , ⋯   , v k + 1 } v_{k+1} \in \Kappa_{k+1}(A,r_0) = \Kappa_{k}(A,r_0) \oplus span\{Av_k\} = span\{v_1, v_2, \cdots, v_{k+1}\} vk+1​∈Kk+1​(A,r0​)=Kk​(A,r0​)⊕span{Avk​}=span{v1​,v2​,⋯,vk+1​}
        $A{v}_k={\sum }_{i=1}^{k+1}{h}_{i,k}{v}_i\Rightarrow v_i^{T}A{v}_k=h_{i,k}{v}_i^T{v}_i$
        $v_{k+1}=\frac{A{v}_k-{\sum }_{i=1}^k{h}_{i,k}{v}_i}{\Vert A{v}_k-{\sum }_{i=1}^k{h}_{i,k}{v}_i\Vert }$, 其中$h_{i,k}=v_i^{T}A{v}_k,i=1,2,3,\cdots ,k$

• A-正交
  ${\Vert X\Vert }_A=\sqrt{X^{T}AX}$
  有一组向量$a_1,a_2,\cdots ,a_n$ 寻找$q_1,q_2,\cdots ,q_n$使得
  s p a n { a 1 , a 2 , ⋯   , a n } = s p a n { q 1 , q 2 , ⋯   , q n } span\{a_1, a_2, \cdots, a_n\}=span\{q_1, q_2, \cdots, q_n\} span{a1​,a2​,⋯,an​}=span{q1​,q2​,⋯,qn​}
  且$q_1,q_2,\cdots ,q_n$与A正交，即$q_i^{T}A{q}_j=\{\begin{array}{cc}\ne 0,& i=j\\ 0,& i\ne j\end{array}$
  做法同上，这里就不赘述。

• 广义逆
  对$A=U_1{\Sigma }_1{V}_1^H\in C^{m\times n}$, 记$A^{+}=V_1{\Sigma }_1^{-1}{U}_1^H$,满足：

  1. $A^{+}A{A}^{+}=A^{+}$
  2. $A{A}^{+}A=A$
  3. $A{A}^{+},A^{+}A$都是Hermitian

• 正交投影
  假设$p$是子空间$W$： s p a n { U 1 } span\{U_1\} span{U1​}的投影，$p=U_1{U}_1^H$，$U_1$是酉阵，则有如下性质：

  1. $p^H=p$
  2. $p^2=p$
  3. $\forall x,px\in W$且$(px{)}^H(x-px)=0$

• 子空间

  • 子空间距离

    • 点到子空间距离和span{x}到子空间的距离
      具体参考正交投影
    • 两个平面以及同维子空间距离
      $Z,Y$分别是其标准正交基
      $dist(\mathfrak{X},\mathfrak{Y})=\sqrt{1-{\sigma }_{\min }^2(Z^{H}Y)}$

  • Krylov子空间
    K k ( A , r 0 ) = s p a n { r 0 , A r 0 , ⋯   , A k − 1 r 0 } \Kappa_k(A,r_0)=span\{r_0,Ar_0,\cdots,A^{k-1}r_0\} Kk​(A,r0​)=span{r0​,Ar0​,⋯,Ak−1r0​}

Matrix Decomposition

$A\in C^{n\times n},B\in C^{m\times n}$ ，U,V为酉阵

QR Decomposition

$$A=[a_1,a_2,\cdots ,a_n]=Q\cdot R=[q_1,q_2,\cdots ,q_n]\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1n}\\ 0& r_{22}& \cdots & r_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & r_{nn}\end{array}\right]$$

LU Decomposition

$$A=L\cdot U$$
L为上三角矩阵，U为下三角矩阵
$Ax=b\Rightarrow (LU)x=b\Rightarrow \{\begin{array}{cc}& Ly=b\\ & Ux=y\end{array}$

Shur Decomposition

$$A=UR{U}^H$$
其中U是正交阵，R是上三角阵。
若A是Hermitian矩阵，则R是对角阵，即$A=U\Lambda U^T$

Singular Value Decompostion

$$B=U\Sigma V^H$$
若$rank(B)=r$， 则有
$$A=\left(u_1,u_2,\cdots ,u_m\right){\left(\begin{array}{cccccc}{\sigma }_1& & & & & \\ & \ddots & & & & \\ & & {\sigma }_r& & & \\ & & & 0& & \\ & & & & \ddots & \\ & & & & & 0\end{array}\right)}_{m\times n}{\left(v_1,v_2,\cdots ,v_n\right)}^H=U_1{\Sigma }_1{V}_1^H$$
其中，$U_1=\left(u_1,u_2,\cdots ,u_r\right),V_1=\left(v_1,v_2,\cdots ,v_r\right)$

因此根据$B=U\Sigma V^H$， 可以得到
$$A{v}_i=U\Sigma \left(\begin{array}{c}{v}_1^H\\ ⋮\\ v_n^H\end{array}\right)v_i={\sigma }_i{u}_i$$
$$u_i^{H}A=u_i^H\left(u_1,u_2,\cdots ,u_m\right)\Sigma V^H={\sigma }_i{v}_i^H$$

思考：什么情况下奇异值与特征值相同？

$A^{H}A=V{\Sigma }^H{U}^{H}U\Sigma V^H=V{\Sigma }^H\Sigma V^H$
$A{A}^H=U\Sigma V^{H}V{\Sigma }^H{U}^H=U{\Sigma }^H\Sigma U^H$
因此我们可以根据以上两个矩阵的特征值已经特征向量得到矩阵A的奇异值和奇异向量。
例题：$W=\left[\begin{array}{cc}1& 1\\ 0& 1\\ 1& 0\end{array}\right]$
$W^{H}W=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$
特征值：3,1
特征向量$v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],v_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right]$
$W{W}^H=\left[\begin{array}{ccc}2& 1& 1\\ 1& 1& 0\\ 1& 0& 1\end{array}\right]$
特征值：3,1,0
特征向量$u_1=\left[\begin{array}{c}\frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\end{array}\right],u_2=\left[\begin{array}{c}0\\ -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],u_3=\left[\begin{array}{c}-\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right]$
因此$W=(u_1,u_2,u_3)\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ 0& 1\\ 0& 0\end{array}\right](v_1,v_2)$

Householder Transformation

要求实现$Hx=y,\Vert x\Vert =\Vert y\Vert$, 要求：$ 1) H^H=H, 2) H是酉阵$
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OCnR3We5-1589176889190)(./householder.png)]
$y=x-2\frac{x-y}{2}$
由于$\Vert x\Vert =\Vert y\Vert$， 因此$x,y,x-y$构成等腰三角形
因此根据正交投影可知$\frac{x-y}{2}=px，p=u{u}^H$是 s p a n { x − y } span\{x-y\} span{x−y}的正交投影， $u=\frac{x-y}{\Vert x-y\Vert }$
$\therefore H=I-2u{u}^H$，显然满足上述两点。
利用Householder Transformation可以将矩阵稀疏化。
$\left[\begin{array}{cccc}\ast & \ast & \ast & \ast \\ \ast & \ast & \ast & \ast \\ 0& \ast & \ast & \ast \\ 0& 0& \ast & \ast \end{array}\right]\stackrel{H}{\Rightarrow }\left[\begin{array}{cccc}\ast & \ast & \ast & \ast \\ 0& \ast & \ast & \ast \\ 0& 0& \ast & \ast \\ 0& 0& 0& \ast \end{array}\right]$
注意可以跨行和列去选择变换
$\left[\begin{array}{ccc}\ast & 0& 0\\ \ast & \ast & 0\\ \ast & \ast & \ast \\ \ast & \ast & \ast \\ \ast & \ast & \ast \\ \ast & \ast & \ast \end{array}\right]\stackrel{H}{\Rightarrow }\left[\begin{array}{ccc}\ast & 0& 0\\ \ast & \ast & 0\\ \ast & \ast & \ast \\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$
同样也能用Householder Transformation求QR分解

Givens Rotation Transformation

$\left[\begin{array}{cc}C& S\\ -S& C\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]=\left[\begin{array}{c}\sqrt{a^2+b^2}\\ 0\end{array}\right]$，其中$C=\frac{a}{\sqrt{a^2+b^2}},S=\frac{b}{\sqrt{a^2+b^2}}$

同样也能用Givens Rotation Transformation求QR分解

Application

• 标准正交基

  • R ( A ) = { A x ∣ x ∈ R n } R(A)=\{Ax|x \in R^n\} R(A)={Ax∣x∈Rn}
    $\because Ax=U_1{\Sigma }_1{V}_1^{H}x=U_{1}Z$
    ∴ R ( A ) = s p a n { U 1 } , R ( A H ) = s p a n { V 1 } \therefore R(A)=span\{U_1\},R(A^H)=span\{V_1\} ∴R(A)=span{U1​},R(AH)=span{V1​}
  • N ( A ) = { x ∣ A x = 0 } N(A)=\{x|Ax=0\} N(A)={x∣Ax=0}
    $\because Ax=U_1{\Sigma }_1{V}_1^{H}x=0\Rightarrow V_1^{H}x=0$
    ∴ N ( A ) = s p a n { V 2 } , N ( N H ) = s p a n { U 2 } \therefore N(A)=span\{V_2\},N(N^H)=span\{U_2\} ∴N(A)=span{V2​},N(NH)=span{U2​}

• 低秩逼近
  设$rank(A)=r,d<r$, 求${\min }_{rank(x)=d}={\Vert A-x\Vert }_2$。

• 最小二乘法
  ${\min }_x{\Vert Ax-b\Vert }_2\Rightarrow {\min }_{y\in R(A)}{\Vert b-y\Vert }_2$
  $Ax=A{A}^{+}b$的通解为齐次解加上特解，其特解为$A^{+}b$,齐次通解为$\sigma =(I-A^{+}A)z\in N(A)$
  因此$x=A^{+}b+(I-A^{+}A)z$

Matrix Differential

导数与微分

• 标量对向量的求导
  对于标量$f,{\vec{x}}_{(n\times 1)}$ 有：
  $$\frac{\partial f}{\partial \vec{x}}=\left[\frac{\partial f}{\partial x_i}\right]$$

• 标量对矩阵的求导
  对于标量$f,X_{(m\times n)}$ 有：
  $$\frac{\partial f}{\partial X}=\left[\frac{\partial f}{\partial x_{ij}}\right]$$
  我们知道标量对标量的梯度gradient和微分differentiation有这样的关系：
  $$df=f^{\prime }(x)dx$$
  $$df=\sum _i\frac{\partial f}{\partial x_i}d{x}_i={\frac{\partial f}{\partial \vec{x}}}^{T}d\vec{x}$$
  那么标量对矩阵也存在：
  $$df=\sum _{ij}\frac{\partial f}{\partial x_{ij}}d{x}_{ij}=tr({\frac{\partial f}{\partial X}}^{T}dX)$$
  例子1：已知$f=|X|$，求$df$ ?
  我们知道
  $$|X|=\sum _i{x}_{ij}{A}_{ij}(A_{ij}代数余子式)$$
  将上式代入得：
  $$\frac{\partial f}{\partial X}=\left[\frac{\partial {\sum }_k{x}_{kj}{A}_{kj}}{\partial x_{ij}}\right]=\left[A_{ij}\right]={(X^{\ast })}^T$$
  因此有
  $$df=tr({\frac{\partial f}{\partial X}}^{T}dX)=tr(X^{\ast }dX)=|X|tr(X^{-1}dX)$$
  例子2：求$d{X}^{-1}$ ?
  我们知道
  $$X{X}^{-1}=E$$
  对等式两边微分有
  $$dX{X}^{-1}=dE$$
  $$Xd{X}^{-1}=-X^{-1}dX$$
  因此有
  $$d{X}^{-1}=-X^{-1}dX{X}^{-1}$$
  例子3：$f={\vec{a}}^{T}X\vec{b}$，求 $\frac{\partial f}{\partial X}$?
  $$df={\vec{a}}^{T}dX\vec{b}=tr({\vec{a}}^{T}dX\vec{b})=tr(\vec{b}{\vec{a}}^{T}dX)=tr({\frac{\partial f}{\partial X}}^{T}dX)$$
  因此 $\frac{\partial f}{\partial X}=\vec{a}{\vec{b}}^T$

• 复合法则
  已知$f=g(Y)$，且 $Y=h(X)$，怎么求 $\frac{\partial f}{\partial X}$?(其中g和h都是逐元素的函数)
  $$df=tr({\frac{\partial f}{\partial Y}}^{T}dY)=tr({\frac{\partial f}{\partial Y}}^T(h^{\prime }(X)\odot dX))=tr((\frac{\partial f}{\partial Y}\odot h^{\prime }(X){)}^{T}dX)$$
  例子4：$loss=-{\vec{y}}^T\log softmax(W\vec{x})$，求 $\frac{\partial loss}{\partial W}$。 $\vec{y}$ 是只有一个元素为1其余元素为0的向量。
  $$softmax(\vec{x})=\frac{e^{\vec{x}}}{{\vec{1}}^T{e}^{\vec{x}}}$$
  $$loss=-{\vec{y}}^{T}W\vec{x}+({\vec{y}}^T\vec{1})\log ({\vec{1}}^T{e}^{W\vec{x}})\text{\hspace{1em}(*)}$$
  $$dloss=-{\vec{y}}^{T}dW\vec{x}+\frac{{\vec{1}}^T(e^{W\vec{x}}\odot dW\vec{x})}{{\vec{1}}^T{e}^{W\vec{x}}}\text{\hspace{1em}(**)}$$
  $$dloss=-{\vec{y}}^{T}dW\vec{x}+\frac{(e^{W\vec{x}}{)}^{T}dW\vec{x}}{{\vec{1}}^T{e}^{W\vec{x}}}$$
  $$dloss=tr(-{\vec{y}}^{T}dW\vec{x}+\frac{(e^{W\vec{x}}{)}^{T}dW\vec{x}}{{\vec{1}}^T{e}^{W\vec{x}}})$$
  $$dloss=tr(\vec{x}(softmax(W\vec{x})-\vec{y}{)}^{T}dW)$$
  $$\frac{\partial loss}{\partial W}=(softmax(W\vec{x})-\vec{y}){\vec{x}}^T$$
  注意:
  (*)式 $\log (\frac{\vec{b}}{c})=\log \vec{b}-\vec{1}\log c$，且 ${\vec{y}}^T\vec{1}=1$
  (**)式 $\log ({\vec{1}}^T{e}^{W\vec{x}})$ 是标量，$e^{W\vec{x}}$ 是逐元素函数，因此$d\log ({\vec{1}}^T{e}^{W\vec{x}})=\frac{1}{{\vec{1}}^T{e}^{W\vec{x}}}\cdot {\vec{1}}^T(e^{W\vec{x}}\odot dW\vec{x})$

• 向量对向量求导
  对于 ${\vec{f}}_{(m\times 1)},{\vec{x}}_{(n\times 1)}$ 有：
  $$\frac{\partial \vec{f}}{\partial \vec{x}}={\left[\frac{\partial f_i}{\partial x_j}\right]}_{(n\times m)}$$
  $$d\vec{f}=\left[{\frac{\partial f_i}{\partial \vec{x}}}^T\right]d\vec{x}={\frac{\partial \vec{f}}{\partial \vec{x}}}^{T}d\vec{x}$$

• 矩阵对矩阵求导
  对于矩阵$F_{(m\times n)},X_{(p\times q)}$ 有：
  $$\frac{\partial F}{\partial X}={\left[\frac{\partial F_{ij}}{\partial x_{kl}}\right]}_{(pq\times mn)}$$
  矩阵向量化：
  对于矩阵$X_{(p\times q)}$，其矩阵向量化$vec(X{)}_{(pq\times 1)}={\left[X_1^T,X_2^T,...,X_q^T\right]}^T,X_i是X的列向量$。
  $$vec(A+B)=vec(A)+vec(B)$$
  $$vec(\vec{a}{\vec{b}}^T)=\vec{b}\otimes \vec{a}$$
  $$X=\sum _i{X}_i{e_i}^T$$
  $$vec((AB)\otimes (CD))=vec((A\otimes C)(B\otimes D))$$
  $$vec(AXB)=vec(\sum _{i}A{X}_i{e_i}^{T}B)=\sum _{i}vec((A{X}_i)(B^T{e}_i{)}^T)=\sum _i(B^T{e}_i)\otimes (A{X}_i)=(B^T\otimes A)vec(X)$$
  因此有：
  $$\frac{\partial F}{\partial X}={\frac{\partial vec(F)}{\partial vec(X)}}_{(pq\times mn)}$$
  $$vec(dF)={\frac{\partial F}{\partial X}}^{T}vec(dX)$$
  求导时矩阵被向量化，弊端是这在一定程度破坏了矩阵的结构，会导致结果变得形式复杂；好处是多元微积分中关于Gradient、Hessian矩阵的结论可以沿用过来，只需将矩阵向量化。

应用

1. 紧紧抓住两个转换公式：$df=tr({\frac{\partial f}{\partial X}}^{T}dX),d(trace(f(X)))=trace(df(X))$以及定义，那么几乎所有的导数我们都能求。

2. 泰勒公式

3. 求最优化问题

   • 最小二乘法：

     • ${\min }_x{\Vert Ax-b\Vert }_2^2$

     • ${\min }_x{\Vert Ax-b\Vert }_2^2+\lambda {\Vert x\Vert }_2^2$

   • 有约束问题：

     • ${\min }_x{\Vert Ax\Vert }_2^2,s.t.e^{T}x=1$或者$s.t.{\Vert x\Vert }_2=1$
     • ${\min }_{U}tr(U^{T}AU),s.t.U^{H}U=I,A$半正定
     • ${\min }_X[tr(X^{T}X)-2tr(X)],s.t.XA=0$

   • Locally Linear Embedding
     给定一组数据$x_i\in R^n$及其邻域数据$x_{i1},x_{i2},\cdots ,x_{ij}$, 要求将$x_i$降维为$y_i\in R^d$。
     LLE 认为数据局部是线性的$x_i={\sum }_{i=1}^j{w}_{ij}{x}_{ij}$，且在降维过程中线性不变,且组合系数不变。
     优化目标：$\arg {\min }_Y{\sum }_{i=1}^N{\Vert y_i-{\sum }_{j=1}^k{w}_{ij}{y}_{ij}\Vert }_2^2,s.t.Y{Y}^T=NI$

4. 总体最小二乘
   $$(A+\Delta A)x=(b+\Delta b)\Rightarrow ([A,b]+[\Delta A+\Delta b])\left[\begin{array}{c}x\\ -1\end{array}\right]=0$$
   令 $B=[A,b],D=[\Delta A+\Delta b],Z=\left[\begin{array}{c}x\\ -1\end{array}\right]$
   因此要求$x$的近似解即求：${\min }_{D,x}{\Vert D\Vert }_F^2,s.t.(B+D)Z=0$

   • 若$B$不是列满秩，则存在$Z\ne 0,BZ=0$，要使${\min }_{D,x}{\Vert D\Vert }_F^2$最小，只需$D=0$
   • 若$B$是列满秩，要使$(B+D)Z=0$有解，则$r(B+D)\le n$
     • 若B的奇异值满足${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n\ge {\sigma }_{n+1}$
       要使要使${\min }_{D,x}{\Vert D\Vert }_F^2$最小，只需$D=-{\sigma }_{n+1}{u}_{n+1}{v}_{n+1}^T$
       故 N ( B + D ) = s p a n { v n + 1 } N(B+D)=span\{v_{n+1}\} N(B+D)=span{vn+1​}
       记$v_{n+1}=(v_{n+1,1},v_{n+1,2},\cdots ,v_{n+1,n+1}{)}^T$
       因此$\left(\begin{array}{c}x\\ -1\end{array}\right)=\left(\begin{array}{c}-\frac{v_{n+1,1}}{v_{n+1,n+1}}\\ -\frac{v_{n+1,2}}{v_{n+1,n+1}}\\ ⋮\\ -1\end{array}\right)$
     • 若B的奇异值满足${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_p\ge {\sigma }_{p+1}=\cdots ={\sigma }_{n+1}$
       N ( B + D ) = s p a n { v p + 1 , ⋯   , v n + 1 } N(B+D)=span\{v_{p+1},\cdots,v_{n+1}\} N(B+D)=span{vp+1​,⋯,vn+1​}
       记$V_1=(v_{p+1},\cdots ,v_{n+1}{)}^T$
       运用Householder变换：
       $$H{V}_1=\left(\begin{array}{c}{\hat{v}}_{n+1}\\ 0\\ ⋮\\ 0\end{array}\right)$$

Matrix Equation

分裂迭代

方程$Ax=b$
令$A=M-N\Rightarrow Mx=Nx+b$
迭代形式$M{x}_k=N{x}_{k-1}+b$
故$x_k=M^{-1}(N{x}_{k-1}+b)$
收敛性要求：$\rho (M^{-1}N)<1$
若A正定，当且仅当$M+N^H$时，$\rho (M^{-1}N)<1$

• Jacobi迭代
  $A=D-L-U$
  $M=D,N=L+U=D-A$
  故$x_k=D^{-1}((L+U)x_{k-1}+b)=(I-D^{-1}A)x_{k-1}+D^{-1}b$
  收敛性要求：$\rho (I-D^{-1}A)<1$
  适用：A对角占优

• Gauss-Seideld迭代
  $A=D-L-U$
  $M=D-L,N=U$
  故$x_k=(D-L{)}^{-1}(U{x}_{k-1}+b)$
  收敛性要求：$\rho ((D-L{)}^{-1}U)<1$
  适用：元素集中在下三角处

• SOR
  $M=\frac{1}{\omega }D-L,N=((\frac{1}{\omega }-1)D+U)$
  故$(D-\omega L)x_k=((1-\omega )D+\omega U)x_{k-1}+\omega b$
  收敛性要求：$\rho ((D-\omega L{)}^{-1}((1-\omega )D+\omega U))<1,0<\omega <2$
  适用：下三角占优

• SSOR
  交替迭代

  1. $M=\frac{1}{\omega }D-L,N=((\frac{1}{\omega }-1)D+U)$
  2. $M=\frac{1}{\omega }D-U,N=((\frac{1}{\omega }-1)D+L)$

最速下降

$$Ax=b⟺\underset{x}{\min }\psi (x)=\frac{1}{2}(x,x{)}_A-(b,x)$$
A对称正定
迭代式：$x_{k+1}=x_k+{\alpha }_k{r}_k,r_k=b-A{x}_k=-\nabla \psi (x_k),{\alpha }_k=\arg {\min }_{\alpha }\Vert x_k+\alpha r_k-x^{\ast }\Vert$
求$\alpha$只需满足下式：
$$\frac{d\psi (x_k+\alpha r_k)}{d\alpha }=0$$
$$\psi (x_k+\alpha r_k)=\psi (x_k)+\alpha (-r_k,r_k)+\frac{{\alpha }^2}{2}(A{r}_k,r_k)$$
故$(-r_k,r_k)+\alpha (A{r}_k,r_k)=0\Rightarrow \alpha =\frac{{\Vert r_k\Vert }_2^2}{{\Vert r_k\Vert }_A^2}$
收敛性分析：${\Vert x_{k+1}-x^{\ast }\Vert }_A={\min }_{\alpha }{\Vert x_k+\alpha r_k-x^{\ast }\Vert }_A={\min }_{\alpha }{\Vert x_k+\alpha A(x^{\ast }-x_k)-x^{\ast }\Vert }_A$
$={\min }_{\alpha }{\Vert (I-\alpha A)(x_k-x^{\ast })\Vert }_A$
$\le {\min }_{\alpha }\rho (I-\alpha A){\Vert x_k-x^{\ast }\Vert }_A$
$\le \frac{{\lambda }_n-{\lambda }_1}{{\lambda }_n+{\lambda }_1}{\Vert x_k-x^{\ast }\Vert }_A$
$\le (\frac{{\lambda }_n-{\lambda }_1}{{\lambda }_n+{\lambda }_1}{)}^k{\Vert x_0-x^{\ast }\Vert }_A$

子空间迭代

$A\in C^{n\times n}$
$Ax=b⟺x=A^{-1}b⟺A(x^{\ast }-x_0)=b-A{x}_0=r_0⟺x^{\ast }=x_0+A^{-1}{r}_0$
又$A^{-1}={\sum }_{i=0}^m{C}_i{A}^i{r}_0$
故$x^{\ast }=x_0+{\mathrm{K}}_{m+1}(A,r_0)$

共轭CG

$x^{\ast }=x_0+{\mathrm{K}}_{m+1}(A,r_0)$
设$g_0,g_1,\cdots ,g_m$是${\mathrm{K}}_{m+1}(A,r_0)$一组标准A正交基，则
$$x^{\ast }=x_0+\sum _{j=0}^m{\alpha }_j{g}_j$$
设$x_k=x_0+{\sum }_{j=0}^{k-1}{\alpha }_j{g}_j$，则$x_{k+1}=x_k+{\alpha }_k{g}_k$
如何确定系数${\alpha }_k$和正交基$g_k$？

1. 求${\alpha }_k$
   显然$x_{m+1}=x^{\ast }$，那么$r_{m+1}=b-A{x}_{m+1}=b-A{x}^{\ast }=0$
   $\begin{array}{rl}{r}_{m+1}& =b-A{x}_{m+1}\\ & =b-A(x_m+{\alpha }_m{g}_m)\\ & =r_m-{\alpha }_{m}A{g}_m\\ & =b-A{x}_m-{\alpha }_{m}A{g}_m\\ & =b-A(x_{m-1}+{\alpha }_{m-1}{g}_{m-1})-{\alpha }_{m}A{g}_m\\ & =r_{m-1}-{\alpha }_{m-1}A{g}_{m-1}-{\alpha }_{m}A{g}_m\\ & =\cdots \\ & =r_k-{\alpha }_{k}A{g}_k-{\alpha }_{k+1}A{g}_{k+1}-\cdots -{\alpha }_{m}A{g}_m\\ & =0\end{array}$
   则$g_k^T{r}_k={\alpha }_k{g}_k^{T}A{g}_k-{\alpha }_{k+1}{g}_k^{T}A{g}_{k+1}-\cdots -{\alpha }_m{g}_k^{T}A{g}_m={\alpha }_k{g}_k^{T}A{g}_k$
   $\therefore {\alpha }_k=\frac{g_k^T{r}_k}{g_k^{T}A{g}_k}$
2. 求$g_k$
   Gram-shcmit
   1. 令$g_0=r_0$
   2. 假设已求得$g_0,g_1,\cdots ,g_{k-1}$，有 s p a n { g 0 , g 1 , ⋯   , g k − 1 } = s p a n { r 0 , A r 0 , ⋯   , A k − 1 r 0 } span\{g_0,g_1,\cdots,g_{k-1}\}=span\{r_0,Ar_0,\cdots,A^{k-1}r_0\} span{g0​,g1​,⋯,gk−1​}=span{r0​,Ar0​,⋯,Ak−1r0​}
   3. 对于$r_k$有：
      $$\begin{array}{rl}{r}_k& =b-A{x}_k\\ & =b-A(x_{k-1}+{\alpha }_{k-1}{g}_{k-1})\\ & =r_{k-1}-{\alpha }_{k-1}A{g}_{k-1}\\ & =\cdots \\ & =r_0-\sum _{j=0}^{k-1}{\alpha }_{i}A{g}_i\in {\mathrm{K}}_{k+1}(A,r_0)\end{array}$$
      而$g_k\in {\mathrm{K}}_{k+1}(A,r_0)$，故$r_k={\beta }_0{g}_0+{\beta }_1{g}_1+\cdots +{\beta }_k{g}_k$
      $\therefore g_i^{T}A{r}_k={\beta }_i{g}_i^{T}A{g}_i$，$i=0,1,\cdots ,k$
      $\therefore g_k$可求

收敛速度大于最速下降法

A非对称

• 直观法
  将$Ax=b$转化为$A^{T}Ax=b$
  收敛速度远小于$A$正定时收敛速度
• 广义最小残量法
  前面在Arnoldi分解我们得到${\mathrm{K}}_k(A,r_0)$的标准正交基$v_1,v_2,\cdots ,v_k$
  令$V_k=(v_1,v_2,\cdots ,v_k)$，则$A{V}_k=V_k{H}_k+h_{k+1,k}{v}_{k+1}{e}_k^T=V_{k+1}{\hat{H}}_k$
  $b-A{x}_k=b-A(x_0+V_{k}y)=r_0-V_{k+1}{\hat{H}}_{k}y=V_{k+1}(\Vert r_0\Vert e_1-{\hat{H}}_{k}y)$
  $\therefore {\Vert b-A{x}_k\Vert }_2={\Vert \Vert r_0\Vert e_1-{\hat{H}}_{k}y\Vert }_2$
  $y=\arg {\min }_y{\Vert \Vert r_0\Vert e_1-{\hat{H}}_{k}y\Vert }_2$
  求解上述式子：
  1. 最小二乘法
  2. Givens旋转变换，对${\hat{H}}_k进行QR分解$

Convex Optimization

次梯度

$g^T$ 次梯度

1. 向量：$f(y)\ge f(x)+g^T(y-x)$
2. 矩阵：$f(Y)\ge f(X)+trace(g^T(Y-X))$

例题：求和范数的次梯度$\partial {\Vert X\Vert }_{\ast }$
$f(X)\ge f(0)+trace(g^{T}X)\Rightarrow \sum {\sigma }_i\ge trace(g^{T}X)$
$tr({\Sigma }_1)\ge tr(g^T{U}_1{\Sigma }_1{V}_1^T)\Rightarrow tr(V_1{\Sigma }_1{V}_1^T)\ge tr(g^T{U}_1{\Sigma }_1{V}_1^T)$
∴ ∂ ∥ X ∥ ∗ = { U 1 V 1 T + Y ∣ U 1 T Y = 0 , Y V 1 = 0 , ∥ X ∥ 2 ≤ 1 } \therefore \partial \left\|X\right\|_{*} =\{U_1V_1^T+Y|U_1^TY=0,YV_1=0,\left\|X\right\|_2 \le 1\} ∴∂∥X∥∗​={U1​V1T​+Y∣U1T​Y=0,YV1​=0,∥X∥2​≤1}

Solving Characteristic Value

vex Optimization

次梯度

$g^T$ 次梯度

1. 向量：$f(y)\ge f(x)+g^T(y-x)$
2. 矩阵：$f(Y)\ge f(X)+trace(g^T(Y-X))$

例题：求和范数的次梯度$\partial {\Vert X\Vert }_{\ast }$
$f(X)\ge f(0)+trace(g^{T}X)\Rightarrow \sum {\sigma }_i\ge trace(g^{T}X)$
$tr({\Sigma }_1)\ge tr(g^T{U}_1{\Sigma }_1{V}_1^T)\Rightarrow tr(V_1{\Sigma }_1{V}_1^T)\ge tr(g^T{U}_1{\Sigma }_1{V}_1^T)$
∴ ∂ ∥ X ∥ ∗ = { U 1 V 1 T + Y ∣ U 1 T Y = 0 , Y V 1 = 0 , ∥ X ∥ 2 ≤ 1 } \therefore \partial \left\|X\right\|_{*} =\{U_1V_1^T+Y|U_1^TY=0,YV_1=0,\left\|X\right\|_2 \le 1\} ∴∂∥X∥∗​={U1​V1T​+Y∣U1T​Y=0,YV1​=0,∥X∥2​≤1}

Solving Characteristic Value