线性代数|机器学习-P17矩阵A逆和奇异值的导数

1. $A^2$关于时间的导数

我们在已知 $\frac{\mathrm{d}A}{\mathrm{d}t}$的情况下，如何求解$\frac{\mathrm{d}{A}^2}{\mathrm{d}t}$?
$$\begin{array}{c}\frac{\mathrm{d}A}{\mathrm{d}t}\to \frac{\mathrm{d}{A}^2}{\mathrm{d}t}??\end{array}$$

• 我们定义A的变化为$\Delta A$,t 的变化为$\Delta t$,计算$\frac{\mathrm{d}{A}^2}{\mathrm{d}t}$
  $$\begin{array}{c}\frac{\mathrm{d}{A}^2}{\mathrm{d}t}=\frac{(A+\Delta A{)}^2-A^2}{\Delta t}=\frac{A^2+A\Delta A+\Delta AA+(\Delta A{)}^2-A^2}{\Delta t}=\frac{A\Delta A+\Delta AA+(\Delta A{)}^2}{\Delta t}\end{array}$$
  $$\begin{array}{c}\frac{\mathrm{d}{A}^2}{\mathrm{d}t}=A\frac{\Delta A}{\Delta t}+\frac{\Delta A}{\Delta t}A+\frac{\Delta A}{\Delta t}\Delta A=A\frac{\mathrm{d}A}{\mathrm{d}t}+\frac{\mathrm{d}A}{\mathrm{d}t}A\end{array}$$
• 整理可得结论如下：
  $$\begin{array}{c}\frac{\mathrm{d}{A}^2}{\mathrm{d}t}=A\frac{\mathrm{d}A}{\mathrm{d}t}+\frac{\mathrm{d}A}{\mathrm{d}t}A\end{array}$$

2. 奇异值 $\sigma$ 关于时间的导数

对于任意矩阵A来说，我们可以按照奇异值分解得到如下结果：
$$\begin{array}{c}Av=u\sigma ,u^{T}u=1,v^{T}v=1\end{array}$$

• 整理可得如下：
  $$\begin{array}{c}\sigma =u^{T}Av\end{array}$$
• 关于t求导如下：
  $$\begin{array}{c}\frac{\mathrm{d}\sigma }{\mathrm{d}t}=\frac{\mathrm{d}{u}^T}{\mathrm{d}t}Av+u^T\frac{\mathrm{d}A}{\mathrm{d}t}v+u^{T}A\frac{\mathrm{d}v}{\mathrm{d}t}\end{array}$$
• 我们知道 $Av=u\sigma ;u^{T}A=\sigma v^T$，整理可得
  $$\begin{array}{c}\frac{\mathrm{d}\sigma }{\mathrm{d}t}=\sigma \frac{\mathrm{d}{u}^T}{\mathrm{d}t}u+u^T\frac{\mathrm{d}A}{\mathrm{d}t}v+\sigma v^T\frac{\mathrm{d}v}{\mathrm{d}t}=\sigma (\frac{\mathrm{d}{u}^T}{\mathrm{d}t}u+v^T\frac{\mathrm{d}v}{\mathrm{d}t})+u^T\frac{\mathrm{d}A}{\mathrm{d}t}v\end{array}$$
• 我们知道$u^{T}u=1$，两边求导可得：
  $$\begin{array}{c}\frac{\mathrm{d}{u}^T}{\mathrm{d}t}u+u^T\frac{\mathrm{d}u}{\mathrm{d}t}=0\end{array}$$
• 转置不影响求导顺序，既可以先转置后求导，也可以先求导再转置；
• 对于标量来说，$x^{T}y=y^{T}x$，所以可得：
  $$\begin{array}{c}\frac{\mathrm{d}{u}^T}{\mathrm{d}t}u=u^T\frac{\mathrm{d}u}{\mathrm{d}t}=0\end{array}$$
• 所以最后可得如下结论：
  $$\begin{array}{c}\frac{\mathrm{d}\sigma }{\mathrm{d}t}=u^T\frac{\mathrm{d}A}{\mathrm{d}t}v\end{array}$$

3. 迭代特征值

3.1 交替特征值

假设我们有一个对称矩阵S，在矩阵S的基础上加一个秩为1的矩阵得到$S_1$，我们定义矩阵S的特征值为$\lambda$,$u_2$为S矩阵中${\lambda }_2$对应的特征向量,矩阵$S_1$对应的特征值为$\mu$具体如下：
$$\begin{array}{c}S\to {\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n;S_1\to {\mu }_1,{\mu }_2,\cdots ,{\mu }_n;\end{array}$$
$$\begin{array}{c}{S}_1=S+\theta u_2{u}_2^T\end{array}$$

• 最后可以得到特征值交替结果，具体证明请看上一节内容
  $$\begin{array}{c}{\mu }_1\ge {\lambda }_1\ge {\mu }_2\ge {\lambda }_2\ge \cdots \ge {\mu }_n\ge {\lambda }_n\end{array}$$

3.2 S+T 矩阵最大特征值

假设我们有一个对称矩阵S,一个秩为1的对称矩阵T，那么S+T特征值最大关系如下:

• [仅供猜测] 对于原来的矩阵S来说，新增秩为1的矩阵T，得到S+T，那么T带来的效果最差是加1，好点的效果是消除部分行，所以最终得到的S+T的秩小于分别相加，同样特征值也如此。
  $$\begin{array}{c}{\lambda }_{\max }(S+T)\le {\lambda }_{\max }(S)+{\lambda }_{\max }(T)\end{array}$$

4. 瑞利商的思考

4.1 瑞利商的定义

假设A是n阶实对称矩阵，x是n维非零列向量，那么瑞利商表示如下：
$$\begin{array}{c}R(A,x)=\frac{x^{T}Ax}{x^{T}x}\end{array}$$

4.2 性质1

记${\lambda }_{\max }$是矩阵A的最大特征值，${\lambda }_{\min }$是矩阵A的最小特征值，则
$$\begin{array}{c}\underset{x\ne 0}{\max }R(A,x)={\lambda }_{\max },\underset{x\ne 0}{\min }R(A,x)={\lambda }_{\min }\end{array}$$

• 若在$x^{T}x=k$条件下：
  $$\begin{array}{c}\underset{x^{T}x=k}{\max }{x}^{T}Ax=k{\lambda }_{\max };\underset{x^{T}x=k}{\min }{x}^{T}Ax=k{\lambda }_{\min };\end{array}$$
• 若记${\alpha }_1$为${\lambda }_{\max }$对于的单位特征向量，${\alpha }_2$为${\lambda }_{\min }$对于的单位特征向量，则
  当$x=\sqrt{k}{\alpha }_1$时，可取到$x^{T}Ax$的最大值 $k{\lambda }_{\max }$.
  当$x=\sqrt{k}{\alpha }_2$时，可取到$x^{T}Ax$的最小值 $k{\lambda }_{\min }$.