线性代数|机器学习-P16矩阵A的导数

1. 概述

这节课的主题是定义矩阵A是关于时间t的$A(t)$,在已知$\frac{\mathrm{d}A(t)}{\mathrm{d}t}$的情况下，求解$\frac{\mathrm{d}{A}^{-1}(t)}{\mathrm{d}t},\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t},\frac{\mathrm{d}\sigma (t)}{\mathrm{d}t}$
$$\begin{array}{c}\frac{\mathrm{d}A(t)}{\mathrm{d}t}\to \frac{\mathrm{d}{A}^{-1}(t)}{\mathrm{d}t},\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t},\frac{\mathrm{d}\sigma (t)}{\mathrm{d}t}\end{array}$$

2. 求$\frac{\mathrm{d}{A}^{-1}(t)}{\mathrm{d}t}$

关于矩阵$A^{-1},B^{-1}$,可以得到如下公式：
$$\begin{array}{c}{B}^{-1}-A^{-1}=B^{-1}(A-B)A^{-1}\end{array}$$

• 我们定义$B=A+\Delta A$,则上述公式变换如下：
  $$\begin{array}{c}\Delta A^{-1}=(A+\Delta A{)}^{-1}(-\Delta A)A^{-1}\end{array}$$
• 当$\Delta A\to 0$时，$(A+\Delta A{)}^{-1}=A^{-1}$,两边同时除以$\Delta t$,则公式整理可得：
  $$\begin{array}{c}\frac{\Delta A^{-1}}{\Delta t}=-A^{-1}\frac{(\Delta A)}{\Delta t}{A}^{-1}\end{array}$$
• 则可得如下：
  $$\begin{array}{c}\frac{\mathrm{d}{A}^{-1}}{\mathrm{d}t}=-A^{-1}\frac{\mathrm{d}A}{\mathrm{d}t}{A}^{-1}\end{array}$$

3. 求 $\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t}$

3.1 A 和$A^T$有相同的特征值

求解特征值方程如下，将等式转置可得：
$$\begin{array}{c}|A-\lambda I|=0\to |A^T-\lambda I^T|=|A^T-\lambda I|=|A-\lambda I|\end{array}$$
所以可得A与$A^T$有相同的特征值，我们定义矩阵A的特征值为$\lambda$时的特征向量为x，$Ax=\lambda x$，矩阵$A^T$的特征值为$\mu$时的特征向量为y ,$A^{T}y=\mu y$
$$\begin{array}{c}Ax=\lambda x,A^{T}y=\mu y\to y^{T}A=\mu y^T\end{array}$$

• 等式乘以$y^T$可得：
  $$\begin{array}{c}{y}^{T}Ax=\lambda y^{T}x\to \mu y^{T}x=\lambda y^{T}x\to (\mu -\lambda )y^{T}x=0\end{array}$$
• 为了保证上式对于任意$\mu -\lambda$成立，只能得到如下
  $$\begin{array}{c}\mu \ne \lambda \to y^{T}x=0\end{array}$$
• 那当$\mu =\lambda$时，$y^{T}x=???$呢？

3.2 特征向量单位化

我们知道，对于矩阵A来说，我们能够得到如下公式
$$\begin{array}{c}A\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& & & \\ & & & \\ & {\lambda }_2& & \\ & & & \\ & & \ddots & \\ & & & \\ & & & {\lambda }_n\end{array}\right]\to A=X\Lambda X^{-1}\end{array}$$

• 那么我们可得$A^2$为：
  $$\begin{array}{c}{A}^2=X\Lambda X^{-1}X\Lambda X^{-1}\end{array}$$
• 如果X列向量不单位化，假设$x_i^T{x}_i=c_i$,那么可得：
  $$\begin{array}{c}{X}^{T}X=\left[\begin{array}{c}{x}_1^T\\ \\ x_2^T\\ \\ ⋮\\ \\ x_n^T\end{array}\right]\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]=\left[\begin{array}{cccc}{c}_1& & & \\ & & & \\ & c_2& & \\ & & & \\ & & \ddots & \\ & & & \\ & & & c_n\end{array}\right]\end{array}$$
• 那么这样在求$A^2$时，就无法得到如下：
  $$\begin{array}{c}{A}^2\ne X{\Lambda }^2{X}^{-1}\end{array}$$
• 所以为了能够方便计算，我们一般会单位化向量 $x_i$，得到如下：
  $$\begin{array}{c}{X}^{T}X=I,X^{-1}=X^T,x^{T}x=1,A=X\Lambda X^T,Ax=\lambda x\end{array}$$
• 同理可得关于$A^T$表示如下：
  $$\begin{array}{c}{y}^{T}A=\lambda y^T,A=Y\Lambda Y^T\end{array}$$
• 那么 $A^2$ 可得如下：
  $$\begin{array}{c}{A}^2=X\Lambda X^{T}Y\Lambda Y^T\end{array}$$
• 为了要得到$A^2=X{\Lambda }^2{Y}^T$,我们希望得到$X^{T}Y=I$
  $$\begin{array}{c}{X}^{T}Y=Y^{T}X=I\end{array}$$
• 可得如下：
  $$\begin{array}{c}\mu =\lambda \to y^{T}x=1,\mu \ne \lambda \to y^{T}x=0\end{array}$$

3.3 求$\lambda (t)$

关于矩阵A可得如下：
$$\begin{array}{c}A(t)x(t)=\lambda (t)x(t),y^T(t)A(t)=\lambda (t)y^T(t),y^T(t)x(t)=1\end{array}$$

• 等式两边乘以$y^T(t)$可得：
  $$\begin{array}{c}{y}^T(t)A(t)x(t)=\lambda (t)y^T(t)x(t)=\lambda (t)\end{array}$$
• 整理可得如下：
  $$\begin{array}{c}\lambda (t)=y^T(t)A(t)x(t)\end{array}$$
• 两边关于t求导可得：
  $$\begin{array}{c}\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t}=\frac{\mathrm{d}{y}^T(t)}{\mathrm{d}t}A(t)x(t)+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)+y^T(t)A(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}\end{array}$$
• 由公式可得$A(t)x(t)=\lambda (t)x(t),y^T(t)A(t)=\lambda (t)y^T(t)$整理后可得：
  $$\begin{array}{c}\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t}=\frac{\mathrm{d}{y}^T(t)}{\mathrm{d}t}\lambda (t)x(t)+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)+\lambda (t)y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}\end{array}$$
• 第1,3项合并整理可得：
  $$\begin{array}{c}\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t}=\lambda (t)[\frac{\mathrm{d}{y}^T(t)}{\mathrm{d}t}x(t)+y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}]+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)\end{array}$$
• 我们知道$y^T(t)x(t)=1$，两边求导可得：
  $$\begin{array}{c}\frac{\mathrm{d}{y}^T(t)}{\mathrm{d}t}x(t)+y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}=0\end{array}$$
• 代入后可得：
  $$\begin{array}{c}\frac{\mathrm{d}\lambda (t)}{\mathrm{d}t}=y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)\end{array}$$

4. 交替特征值

4.1 证明

假设我们有一个对称矩阵S，还有一个在矩阵S的基础上加秩为1的矩阵$S_1$,我们定义矩阵$S_1$的特征值为$\lambda$,矩阵S的特征值为$\gamma$,定义$q_2$为矩阵S第二个特征值${\gamma }_2$对应的特征向量，c为任意实数，表示如下：
$$\begin{array}{c}Sx=\gamma x,S_{1}x=\lambda x,S_1=S+c{q}_2{q}_2^T\end{array}$$

• 等式两边乘以$q_1$可得：
  $$\begin{array}{c}{S}_1{q}_1=S{q}_1+c{q}_2{q}_2^T{q}_1\to S_1{q}_1={\gamma }_1{q}_1\to {\gamma }_1={\lambda }_1\end{array}$$
  $$\begin{array}{c}{S}_1{q}_2=S{q}_2+c{q}_2{q}_2^T{q}_2\to S_1{q}_2=({\gamma }_2+c)q_1\to {\gamma }_2+c={\lambda }_2\end{array}$$
• 于是我们得到如下特征值关系：
  
• 小结：可以看出，矩阵S在增加秩为1的矩阵后成为$S_1$,$S_1$和S特征值交替插入。

4.2 迭代交替特征值应用

对于一个矩阵S来说，我们可以分解如下：
$$\begin{array}{c}{S}_n=S_{n-1}+u_i{u}_i^T\end{array}$$