矩阵论续集

个人写作笔记，如有问题，请不吝赐教！

上一篇中矩阵迹、矩阵范数的导数部分还 留白白斩斩的，这里补充一下。

这里是上一篇的链接

矩阵求导

还差一个最普适的情况——“矩阵对矩阵求导”没有分析，这种情况在神经网络中貌似特别常见。这里对这种情况的公式进行证明，证明方法与证明列向量的方式是完全一样的，不同之处在于，列向量在证明第二项时可以提取公因式产生矩阵分块，而在矩阵对矩阵求导中，不会得到矩阵分块，只能是矩阵直积，具体过程如下。
设矩阵 $\mathbf{A}\in {\mathbb{C}}^{l\times m}$，$\mathbf{B}\in {\mathbb{C}}^{m\times n}$，$\mathbf{W}\in {\mathbb{C}}^{p\times q}$，证明：
$$\begin{array}{rl}& \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}\mathbf{W}}=\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}\mathbf{W}}({\mathbf{I}}_p\otimes \mathbf{B})+({\mathbf{I}}_q\otimes \mathbf{A})\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}\mathbf{W}}\end{array}$$
根据矩阵对矩阵求导的定义，有：
$$\begin{array}{rl}\frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}\mathbf{W}}& =\left[\begin{array}{cccc}\frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{11}}& \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{21}}& \cdots & \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{p1}}\\ & & & \\ \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{12}}& \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{22}}& \cdots & \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{p2}}\\ & & & \\ ⋮& ⋮& & ⋮\\ & & & \\ \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{1q}}& \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{2q}}& \cdots & \frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{pq}}\end{array}\right]\end{array}$$
由于各项形式完全一致，考虑第一项 $\frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{11}}$ 即可，这是一项纯量对向量求导，直接化简可得：
$$\begin{array}{r}\frac{\mathrm{d}\mathbf{AB}}{\mathrm{d}{w}_{11}}=\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{11}}\mathbf{B}+\mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{11}}\end{array}$$
可知最终结果必含两项，先考虑由 $\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{ij}}\mathbf{B}$ 代表的一项，即有：
$$\begin{array}{rl}& \left[\begin{array}{cccc}\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{11}}\mathbf{B}& \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{21}}\mathbf{B}& \cdots & \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{p1}}\mathbf{B}\\ & & & \\ \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{12}}\mathbf{B}& \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{22}}\mathbf{B}& \cdots & \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{p2}}\mathbf{B}\\ & & & \\ ⋮& ⋮& & ⋮\\ & & & \\ \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{1q}}\mathbf{B}& \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{2q}}\mathbf{B}& \cdots & \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{pq}}\mathbf{B}\end{array}\right]\\ & \\ & =\left[\begin{array}{cccc}\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{11}}& \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{21}}& \cdots & \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{p1}}\\ & & & \\ \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{12}}& \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{22}}& \cdots & \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{p2}}\\ & & & \\ ⋮& ⋮& & ⋮\\ & & & \\ \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{1q}}& \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{2q}}& \cdots & \frac{\mathrm{d}\mathbf{A}}{\mathrm{d}{w}_{pq}}\end{array}\right]\cdot ({\mathbf{I}}_p\otimes \mathbf{B})\\ & \\ & =\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}\mathbf{W}}({\mathbf{I}}_p\otimes \mathbf{B})\end{array}$$
即为待证结果第一项，再考虑由 $\mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{ij}}$ 代表的一项，有：
$$\begin{array}{rl}& \left[\begin{array}{cccc}\mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{11}}& \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{21}}& \cdots & \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{p1}}\\ & & & \\ \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{12}}& \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{22}}& \cdots & \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{p2}}\\ & & & \\ ⋮& ⋮& & ⋮\\ & & & \\ \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{1q}}& \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{2q}}& \cdots & \mathbf{A}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{pq}}\end{array}\right]\\ & \\ & =({\mathbf{I}}_q\otimes \mathbf{A})\cdot \left[\begin{array}{cccc}\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{11}}& \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{21}}& \cdots & \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{p1}}\\ & & & \\ \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{12}}& \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{22}}& \cdots & \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{p2}}\\ & & & \\ ⋮& ⋮& & ⋮\\ & & & \\ \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{1q}}& \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{2q}}& \cdots & \frac{\mathrm{d}\mathbf{B}}{\mathrm{d}{w}_{pq}}\end{array}\right]\\ & \\ & =({\mathbf{I}}_q\otimes \mathbf{A})\frac{\mathrm{d}\mathbf{B}}{\mathrm{d}\mathbf{W}}\end{array}$$
综上，原公式得到了证明。

矩阵的迹

设矩阵 $\mathbf{A},\mathbf{B}\in {\mathbb{C}}^{n\times n}$，$\mathbf{W}\in {\mathbb{C}}^{p\times q}$

定义

对于方阵而言，定义矩阵的迹为主对角线上全体元素之和，即：
$$\mathrm{tr}(\mathbf{A})=\sum _{i=1}^n{a}_{ii}$$

性质

讨论矩阵的迹时，只考虑方阵的情况，一般矩阵不讨论迹。
矩阵的迹等于矩阵全体特征值之和，即有：
$$\mathrm{tr}(\mathbf{A})=\sum _{i=1}^n{\lambda }_i$$
矩阵的迹满足乘积可换顺序，即：
$$\mathrm{tr}(\mathbf{AB})=\mathrm{tr}(\mathbf{BA})$$

微分性质

矩阵的迹就是一个纯量，因此求解时按一般纯量的求法即可。对于含有矩阵运算的迹，当微分变量也是方阵时，追迹计算与导数运算可以交换顺序，否则，没有简便的计算方法：
$$\begin{array}{rl}& \frac{\mathrm{d}}{\mathrm{d}\mathbf{W}}\mathrm{tr}(\mathbf{A})=\mathrm{tr}\left(\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}\mathbf{W}}\right)\end{array}$$

矩阵的范数

$\forall \mathbf{A}\in {\mathbb{C}}^{m\times n}$，定义以下的范数：

矩阵原生范数

总和范数：$||\mathbf{A}|{|}_M=\sum _{j=1}^n\sum _{i=1}^m|a_{ij}|$
F范数：$||\mathbf{A}|{|}_F=\sum _{j=1}^n\sum _{i=1}^m|a_{ij}{|}^2$
G范数：$||\mathbf{A}|{|}_G=n\cdot \underset{i,j}{\max }\sum _{i=1}^n|a_{ij}|$

向量范数导出的矩阵范数

矩阵的最大奇异值称为矩阵的谱半径，用 ρ ( A ) = max ⁡ { s i } i = 1 n \displaystyle\rho({\bm{A}})=\max\{s_i\}_{i=1}^{n} ρ(A)=max{si​}i=1n​ 表示。
行和范数：$||\mathbf{A}|{|}_{\infty }=\underset{j}{\max }\sum _{j=1}^n|a_{ij}|$
列和范数：$||\mathbf{A}|{|}_1=\underset{j}{\max }\sum _{i=1}^m|a_{ij}|$
谱范数： ∣ ∣ A ∣ ∣ 2 = max ⁡ { s i } i = 1 n \displaystyle||\bm{A}||_2=\max\{s_i\}_{i=1}^{n} ∣∣A∣∣2​=max{si​}i=1n​

矩阵范数的导数

矩阵范数大多不能直接求导，常见的能求导的范数有F范数，F范数的求法可由下式快捷算出：
$$||\mathbf{A}|{|}_F^2=\mathrm{tr}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})$$
简单起见，此处对范数进行平方，在常见的学习率正则化处理中，经常见到带有这种形式的误差项，对此平方求导，可得：
$$\begin{array}{rl}\frac{\mathrm{d}||\mathbf{A}|{|}_F^2}{\mathrm{d}\mathbf{W}}& =\frac{\mathrm{d}[\mathrm{tr}({\mathbf{A}}^{\mathrm{H}}\mathbf{A})]}{\mathrm{d}\mathbf{W}}=\mathrm{tr}\left(\frac{\mathrm{d}{\mathbf{A}}^{\mathrm{H}}\mathbf{A}}{\mathrm{d}\mathbf{W}}\right)\\ & \\ & =\mathrm{tr}\left[\frac{\mathrm{d}{\mathbf{A}}^{\mathrm{H}}}{\mathrm{d}\mathbf{W}}\right({\mathbf{I}}_p\otimes \mathbf{A})+({\mathbf{I}}_q\otimes {\mathbf{A}}^{\mathrm{H}}\left)\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}\mathbf{W}}\right]\end{array}$$
特别地，当 $\mathbf{W}\in {\mathbb{C}}^{m\times m}$ 即微分变量也是方阵时，根据追迹的乘积互换性，可以一步得到：
$$\begin{array}{rl}\frac{\mathrm{d}||\mathbf{A}|{|}_F^2}{\mathrm{d}\mathbf{W}}& =\mathrm{tr}\left[\frac{\mathrm{d}{\mathbf{A}}^{\mathrm{H}}}{\mathrm{d}\mathbf{W}}\right({\mathbf{I}}_m\otimes \mathbf{A})+({\mathbf{I}}_m\otimes {\mathbf{A}}^{\mathrm{H}}\left)\frac{\mathrm{d}\mathbf{A}}{\mathrm{d}\mathbf{W}}\right]\\ & \\ & =2\cdot \mathrm{tr}\left[\frac{\mathrm{d}{\mathbf{A}}^{\mathrm{H}}}{\mathrm{d}\mathbf{W}}\right({\mathbf{I}}_m\otimes \mathbf{A}\left)\right]\end{array}$$

向量范数的导数

将矩阵退化为列向量，就可以得到向量范数倒数，这种情况更为常见。对于列向量 $\mathbf{Y}\in {\mathrm{C}}^{m\times 1}$ 和 $\mathbf{X}\in {\mathrm{C}}^{n\times 1}$ ，有：
$$\begin{array}{rl}\frac{\mathrm{d}||\mathbf{Y}|{|}_2^2}{\mathrm{d}\mathbf{X}}& =\frac{\mathrm{d}{\mathbf{Y}}^{\mathrm{H}}}{\mathrm{d}\mathbf{X}}({\mathbf{I}}_m\otimes \mathbf{Y})+({\mathbf{I}}_1\otimes {\mathbf{Y}}^{\mathrm{H}})\frac{\mathrm{d}\mathbf{Y}}{\mathrm{d}\mathbf{X}}\\ & \\ & =2{\mathbf{Y}}^{\mathrm{H}}\frac{\mathrm{d}\mathbf{Y}}{\mathrm{d}\mathbf{X}}\end{array}$$
向量的范数定义与矩阵不一样，$||\mathbf{Y}|{|}_2^2={\mathbf{Y}}^{\mathrm{H}}\mathbf{Y}$不带有迹表达式，因此得到的结果略有区别，当$\mathbf{Y}=\mathbf{X}$时，就能得到凸优化中非常漂亮的一个式子了：
$$\frac{\mathrm{d}||\mathbf{X}|{|}_2^2}{\mathrm{d}\mathbf{X}}=2{\mathbf{X}}^{\mathrm{H}}$$