矩阵的迹和导数的主要性质

主要公式：

Trace:

$$\begin{eqnarray} tr A &=& \sum\limits_{i=1}^n a_{ii}\\ tr A &=& tr A^T\\ tr aA &=& a tr A\\ tr A+B &=& tr A +tr B \\ tr AB &=& tr BA\\ tr ABC &=& tr BCA = tr CAB\\ tr ABCD &=& tr DABC = tr CDAB = tr BCDA\\ \end{eqnarray}$$

Derivative:

$$\begin{eqnarray} \frac{dX^T}{dX} = \frac{dX}{dX^T}& =& E \\ \frac{d(AX)^T}{dX} &=& A^T \\ \frac{d(AX)}{dX^T} &=& A\\ \frac{d(X^TX)}{dX} &=& 2X\\ \frac{d(X^TAX)}{dX} &=& (A+A^T)X\\ \end{eqnarray}$$

Gradient:

假设有函数 $f : R^{m \times n} \rightarrow R$ ,将 $m \times n$ 的矩阵映射到实数 $R$ 空间去，则我们定义 $f$ 关于矩阵 $A$ 的导数为：

$${\nabla}_A f(A)= \begin{bmatrix} \frac{\partial f}{\partial a_{11}} & \cdots & \frac{\partial f}{\partial a_{1n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f}{\partial a_{n1}} & \cdots & \frac{\partial f}{\partial a_{nn}} \\ \end{bmatrix}$$

$$\begin{eqnarray} {\nabla}_A tr AB & =& B^T \\ {\nabla}_A |A| & =& |A|(A^{-1}) ^T\\ {\nabla}_{A^T} f(A) & =& ({\nabla}_A f(A))^T \\ {\nabla}_A tr ABA^TC & =& CAB + C^TAB^T \\ \end{eqnarray}$$

公式证明

(1) $tr AB = tr BA$

假设

$$A=\begin{bmatrix} a_{11} & \dots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \dots & a_{nn} \\ \end{bmatrix} \quad B= \begin{bmatrix} b_{11} & \dots & b_{1n} \\ \vdots & \ddots & \vdots \\ b_{n1} & \dots & b_{nn} \\ \end{bmatrix}$$

可得

$$\begin{eqnarray} tr AB &=& \sum\limits_{i=1}^n \sum\limits_{j=1}^n a_{ij}b_{ji} \\ tr BA &=& \sum\limits_{j=1}^n \sum\limits_{i=1}^n a_{ij}b_{ji} \end{eqnarray}$$
同理得式（6）、（7）

(2) ${\nabla}_A tr AB = B^T$

又因为$tr AB = \sum\limits_{i=1}^n \sum\limits_{j=1}^n a_{ij}b_{ji}$，对于A 中的每一个$a_{ij}$ 都有：

$$\begin{eqnarray} \frac{d tr AB}{d a_{ij}} = bji \end{eqnarray}$$
又因为 $B$ 由式（18）定义，所以 ${\nabla}_A tr AB = B^T$

(3) ${\nabla}_A |A| = |A|(A^{-1}) ^T$

由行列式的性质得：$|A| = \sum\limits_j a_{ij}A_{ij}$ ，其中 $A_{ij}$ 矩阵 $(i,j)$处的代数余子式。所以：

$$\begin{eqnarray} \frac{\partial{|A|}}{\partial{a_{ij}}} &=& A_{ij}\\ \Longrightarrow {\nabla}_A |A| &=& A_{ij} = (A^*)^T =(|A|A^{-1})^T = |A|(A^{-1})^T \end{eqnarray}$$
(4) ${\nabla}_{A^T} f(A) = ({\nabla}_A f(A))^T$

等号左边对于A 中的每一个$a_{ij}$ 都有：$\frac{df(A)}{d a_{ji}}$

等号右边对于A 中的每一个$a_{ij}$ 可表示为：$\frac{df(A)}{d a_{ij}}$

可以发现他们正好是转置的关系。

(5) ${\nabla}_A tr ABA^TC = CAB + C^TAB^T$

$$\begin{eqnarray} {\nabla}_A tr ABA^TC & =& {\nabla}_A tr A(BA^TC) + {\nabla}_A tr (CAB)A^T\\ &=& (BA^TC)^T + {\nabla}_A tr [ (CAB)A^T]^T\\ &=& C^TAB^T + {\nabla}_A tr A (CAB)\\ &=& C^TAB^T + CAB \end{eqnarray}$$