机器学习中的数学：求导技术

符号约定

$x$：标量

$\mathbf{x}$：向量

$\mathbf{X}$：矩阵

$tr(\mathbf{A})$：矩阵$\mathbf{A}$的迹

$⟨\mathbf{A},\mathbf{B}⟩$：矩阵$\mathbf{A}$和矩阵$\mathbf{B}$的内积（数量积）

$\mathbf{A}\ast \mathbf{B}$：矩阵$\mathbf{A}$和矩阵$\mathbf{B}$的元素积（Hadamard积）

$\mathbf{A}\otimes \mathbf{B}$：矩阵$\mathbf{A}$和矩阵$\mathbf{B}$的张量积（Kronecker积）

$vec(\mathbf{A})$：矩阵$\mathbf{A}$的（列）向量化

注：本文在实数范围内进行讨论。

一、求导定义与布局方式

1、求导定义

根据求导的自变量和因变量是标量、向量还是矩阵，有9种可能的求导定义：

自变量/因变量	标量$y$	向量$\mathbf{y}$	矩阵$\mathbf{Y}$
标量$x$	$\frac{\partial y}{\partial x}$	$\frac{\partial \mathbf{y}}{\partial x}$	$\frac{\partial \mathbf{Y}}{\partial x}$
向量$\mathbf{x}$	$\frac{\partial y}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{Y}}{\partial \mathbf{x}}$
矩阵$\mathbf{X}$	$\frac{\partial y}{\partial \mathbf{X}}$	$\frac{\partial \mathbf{y}}{\partial \mathbf{X}}$	$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$

在高等数学里，我们学习了标量对标量的求导，而其他的任何一种求导，最终都是转化成标量之间的求导，并把结果按照一定的方式排列，以向量或者矩阵的形式表达出来。

2、分子布局和分母布局

以一个$m$维向量$\mathbf{y}$对标量$x$的求导为例，它的结果$\frac{\partial \mathbf{y}}{\partial x}$也是一个$m$维向量，其每一维对应向量$\mathbf{y}$的每一维对标量$x$的导数。问题是，$\frac{\partial \mathbf{y}}{\partial x}$究竟应该表示成行向量，还是列向量呢？答案是都可以。但是在一系列的计算中，任意书写会带来阅读和求解的困难，为此引入布局的约定概念：

• 分子布局（numerator layout）：导数的维度以分子为主。
• 分母布局（denominator layout）：导数的维度以分母为主。

由此，我们有（表中分子布局简写为N，分母布局简写为D）：

自变量/因变量	标量$y$	$m$维列向量$\mathbf{y}$	$p\times q$矩阵$\mathbf{Y}$
标量$x$	/	N:$m$维列向量 D:$m$维行向量	N:$p\times q$矩阵 D:$q\times p$矩阵
$n$列向量$\mathbf{x}$	N:$n$维行向量 D:$n$维列向量	N:$m\times n$矩阵 D:$n\times m$ 矩阵	/
$s\times t$矩阵$\mathbf{X}$	N:$t\times s$矩阵 D:$s\times t$矩阵	/	/

注1：$m$维列向量$\mathbf{y}$对$n$维列向量$\mathbf{x}$求导的结果，若按分子布局排列，即为一个$m\times n$维的Jacobian矩阵，

注2：分子布局和分母布局的结果相差一个转置。

注3：在机器学习的算法推导里，通常遵循以下布局的规范（本文采用）：

• 向量/矩阵对标量求导，采用分子布局
• 标量对向量/矩阵求导，采用分母布局
• 向量对向量求导，采用分母布局

二、标量对矩阵的求导

1、定义法

设$y$为标量，$\mathbf{X}$是$m\times n$维矩阵，那么$y$对$\mathbf{X}$的导数为：
$$\frac{\partial y}{\partial \mathbf{X}}=[\frac{\partial y}{\partial x_{ij}}{]}_{i=1,j=1}^{m,n}$$

例1：$f={\mathbf{a}}^T\mathbf{X}\mathbf{b}$，用定义法求$\frac{\partial f}{\partial \mathbf{X}}$。其中$\mathbf{a}$是$m\times 1$列向量，$\mathbf{X}$是$m\times n$矩阵，$\mathbf{b}$是$n\times 1$列向量，$f$是标量。

解： 有如下等式：
$${\mathbf{a}}^T\mathbf{X}\mathbf{b}=\sum _{i=1}^m\sum _{j=1}^n{a}_i{x}_{ij}{b}_j$$
从而有：
$$\frac{\partial f}{\partial x_{ij}}=\frac{\partial {\mathbf{a}}^T\mathbf{X}\mathbf{b}}{\partial x_{ij}}=a_i{b}_j$$
所以：
$$\frac{\partial f}{\partial \mathbf{X}}=\mathbf{a}{\mathbf{b}}^T$$

2、微分法

在一元微积分中，导数（标量对标量的导数）与微分有联系：

$$df=f^{\prime }(x)dx$$
在多元微积分中，梯度（标量对向量的导数）也与微分有联系：

$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i={\frac{\partial f}{\partial \mathbf{x}}}^{T}d\mathbf{x}$$
把多元微积分中的梯度与微分之间的联系拓展到矩阵，则有：

$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial x_{ij}}d{x}_{ij}=tr\left({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X}\right)$$
也就是说，全微分$df$是导数$\frac{\partial f}{\partial \mathbf{X}}(m\times n)$与微分矩阵$d\mathbf{X}(m\times n)$的内积（数量积）。同时，根据矩阵的内积和矩阵的迹之间的关系，我们可以如下求出标量$f$对矩阵$\mathbf{X}$的导数：

• (1)根据给定的$f$求出$df$。
• (2)给$df$套上迹$tr$，由于$df$是标量，故有$df=tr(df)$。
• (3)化简$tr(df)$，根据导数与微分的联系$df=tr\left({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X}\right)$求得$\frac{\partial f}{\partial \mathbf{X}}$。

例2：$f={\mathbf{a}}^T\mathbf{X}\mathbf{b}$，用微分法求$\frac{\partial f}{\partial \mathbf{X}}$。其中$\mathbf{a}$是$m\times 1$列向量，$\mathbf{X}$是$m\times n$矩阵，$\mathbf{b}$是$n\times 1$列向量，$f$是标量。

解：(1)求出$df$：
$$df=d{\mathbf{a}}^T\mathbf{X}\mathbf{b}+{\mathbf{a}}^{T}d\mathbf{X}\mathbf{b}+{\mathbf{a}}^T\mathbf{X}d\mathbf{b}={\mathbf{a}}^{T}d\mathbf{X}\mathbf{b}$$
(2)给$df$套上迹$tr$并化简：
$$df=tr(df)=tr({\mathbf{a}}^{T}d\mathbf{X}\mathbf{b})=tr(\mathbf{b}{\mathbf{a}}^{T}d\mathbf{X})=tr((\mathbf{a}{\mathbf{b}}^T{)}^{T}d\mathbf{X})$$
(3)根据导数与微分的联系$df=tr\left({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X}\right)$，有：
$$\frac{\partial f}{\partial \mathbf{X}}=\mathbf{a}{\mathbf{b}}^T$$

例3：$f={\mathbf{a}}^{T}exp(\mathbf{X}\mathbf{b})$，求$\frac{\partial f}{\partial \mathbf{X}}$。其中$\mathbf{a}$是$m\times 1$列向量，$\mathbf{X}$是$m\times n$矩阵，$\mathbf{b}$是$n\times 1$列向量，$exp$是逐元素求指数函数，$f$是标量。

解：(1)求出$df$：
$$df={\mathbf{a}}^T(exp(\mathbf{X}\mathbf{b})\ast (d\mathbf{X}\mathbf{b}))$$
(2)给$df$套上迹$tr$并化简：
$$\begin{array}{rl}df& =tr(df)=tr({\mathbf{a}}^T(exp(\mathbf{X}\mathbf{b})\ast (d\mathbf{X}\mathbf{b})))\\ & =tr((\mathbf{a}\ast exp(\mathbf{X}\mathbf{b}){)}^{T}d\mathbf{X}\mathbf{b})\\ & =tr(\mathbf{b}(\mathbf{a}\ast exp(\mathbf{X}\mathbf{b}){)}^{T}d\mathbf{X})\\ & =tr(((\mathbf{a}\ast exp(\mathbf{X}\mathbf{b})){\mathbf{b}}^T{)}^{T}d\mathbf{X})\end{array}$$
(3)根据导数与微分的联系$df=tr\left({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X}\right)$，有：
$$\frac{\partial f}{\partial \mathbf{X}}=(\mathbf{a}\ast exp(\mathbf{X}\mathbf{b})){\mathbf{b}}^T$$

例4：$l=||\mathbf{X}\mathbf{w}-\mathbf{y}|{|}^2$，求$\mathbf{w}$的最小二乘估计，即求$\frac{\partial l}{\partial \mathbf{w}}$的零点。其中$\mathbf{y}$是$m\times 1$列向量，$\mathbf{X}$是$m\times n$ 矩阵，$\mathbf{w}$是$n\times 1$列向量，$l$是标量。

解：(1)求出$dl$：

易知：
$$l=||\mathbf{X}\mathbf{w}-\mathbf{y}|{|}^2=(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}\mathbf{w}-\mathbf{y})$$
从而有：
$$dl=(\mathbf{X}d\mathbf{w}{)}^T(\mathbf{X}\mathbf{w}-\mathbf{y})+(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}d\mathbf{w})$$
(2)给$dl$套上迹$tr$并化简：
$$\begin{array}{rl}dl& =tr(dl)=tr((\mathbf{X}d\mathbf{w}{)}^T(\mathbf{X}\mathbf{w}-\mathbf{y})+(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}d\mathbf{w}))\\ & =tr(2(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}d\mathbf{w}))\\ & =tr((2{\mathbf{X}}^T(\mathbf{X}\mathbf{w}-\mathbf{y}){)}^{T}d\mathbf{w})\end{array}$$
(3)根据导数与微分的联系$dl=tr\left({\frac{\partial l}{\partial \mathbf{w}}}^{T}d\mathbf{w}\right)$，有：
$$\frac{\partial l}{\partial \mathbf{w}}=2{\mathbf{X}}^T(\mathbf{X}\mathbf{w}-\mathbf{y})$$
(4)求$\frac{\partial l}{\partial \mathbf{w}}$的零点：

令$\frac{\partial l}{\partial \mathbf{w}}=0$，有：
$${\mathbf{X}}^T\mathbf{X}\mathbf{w}={\mathbf{X}}^T\mathbf{y}$$
得到$\mathbf{w}$的最小二乘估计为：
$$\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

例5：$l=-{\mathbf{y}}^{T}ln(softmax(\mathbf{W}\mathbf{x}))$，求$\frac{\partial l}{\partial \mathbf{W}}$。其中$\mathbf{y}$是除一个元素为$1$外其他元素为$0$的$m\times 1$列向量，$\mathbf{W}$是$m\times n$矩阵，$\mathbf{x}$是$n\times 1$列向量，$l$是标量；$ln$表示逐元素求自然对数，$softmax(\mathbf{a})=\frac{exp(\mathbf{a})}{1^{T}exp(\mathbf{a})}$，其中$exp(\mathbf{a})$表示逐元素求指数函数，$1$表示全$1$的列向量。

解：(1)求出$dl$：

注意到：$ln(\mathbf{u}/c)=ln(\mathbf{u})-1ln(c)$，以及${\mathbf{y}}^{T}1=1$，有：
$$\begin{array}{rl}l& =-{\mathbf{y}}^{T}ln(exp(\mathbf{W}\mathbf{x}))+{\mathbf{y}}^{T}1ln(1^{T}exp(\mathbf{W}\mathbf{x}))\\ & =-{\mathbf{y}}^T\mathbf{W}\mathbf{x}+ln(1^{T}exp(\mathbf{W}\mathbf{x}))\end{array}$$
从而：
$$\begin{array}{rl}dl& =-{\mathbf{y}}^{T}d\mathbf{W}\mathbf{x}+\frac{1^T(exp(\mathbf{W}\mathbf{x})\ast (d\mathbf{W}\mathbf{x}))}{1^{T}exp(\mathbf{W}\mathbf{x})}\\ & =-{\mathbf{y}}^{T}d\mathbf{W}\mathbf{x}+\frac{exp(\mathbf{W}\mathbf{x}{)}^T(d\mathbf{W}\mathbf{x})}{1^{T}exp(\mathbf{W}\mathbf{x})}\\ & =(softmax(\mathbf{W}\mathbf{x})-\mathbf{y}{)}^{T}d\mathbf{W}\mathbf{x}\end{array}$$
(2)给$dl$套上迹$tr$并化简：
$$\begin{array}{rl}dl& =tr(dl)=tr((softmax(\mathbf{W}\mathbf{x})-\mathbf{y}{)}^{T}d\mathbf{W}\mathbf{x})\\ & =tr(\mathbf{x}(softmax(\mathbf{W}\mathbf{x})-\mathbf{y}{)}^{T}d\mathbf{W})\\ & =tr(((softmax(\mathbf{W}\mathbf{x})-\mathbf{y}){\mathbf{x}}^T{)}^{T}d\mathbf{W})\end{array}$$
(3)根据导数与微分的联系$dl=tr\left({\frac{\partial l}{\partial \mathbf{W}}}^{T}d\mathbf{W}\right)$，有：
$$\frac{\partial l}{\partial \mathbf{W}}=(softmax(\mathbf{W}\mathbf{x})-\mathbf{y}){\mathbf{x}}^T$$

例6： 求$tr(\mathbf{A}\mathbf{B})$对矩阵$\mathbf{A}$的导数，其中矩阵$\mathbf{A}$和矩阵${\mathbf{B}}^T$的形状相同。

解：(1)令$f=tr(\mathbf{A}\mathbf{B})$，求出$df$：
$$df=d(tr(\mathbf{A}\mathbf{B}))=tr(d(\mathbf{A}\mathbf{B}))=tr((d\mathbf{A})\mathbf{B})=tr(\mathbf{B}d\mathbf{A})$$
(2)根据导数与微分的联系$df=tr\left({\frac{\partial f}{\partial \mathbf{A}}}^{T}d\mathbf{A}\right)$，有：
$$\frac{\partial f}{\partial \mathbf{A}}={\mathbf{B}}^T$$

三、向量对向量的求导

1、定义法

设$\mathbf{y}$为$m\times 1$列向量，$\mathbf{x}$是$n\times 1$列向量，那么$\mathbf{y}$对$\mathbf{x}$的导数（分母布局）为$n\times m$维矩阵：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left(\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \dots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \dots & \frac{\partial y_m}{\partial x_2}\\ \dots & \dots & \dots & \dots \\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$

2、微分法

列向量$\mathbf{f}$对列向量$\mathbf{x}$的导数（分母布局）与微分有如下联系：
$$d\mathbf{f}={\frac{\partial \mathbf{f}}{\partial \mathbf{x}}}^{T}d\mathbf{x}$$

四、求导的链式法则

有时候并不需要使用链式法则，比如下面的例子：

例7：$f=tr({\mathbf{Y}}^T\mathbf{M}\mathbf{Y}),Y=\sigma (\mathbf{W}\mathbf{X})$，求$\frac{\partial f}{\partial \mathbf{X}}$。其中$\mathbf{W}$是$l\times m$矩阵，$\mathbf{X}$是$m\times n$矩阵，$\mathbf{Y}$是$l\times n$矩阵，$\mathbf{M}$是$l\times l$对称矩阵，$\sigma$是逐元素函数，$f$是标量。

解： 先求出$\frac{\partial f}{\partial \mathbf{Y}}$：

(1)求出$df$（自变量$\mathbf{Y}$）：
$$\begin{array}{rl}df& =tr((d\mathbf{Y}{)}^T\mathbf{M}\mathbf{Y})+tr({\mathbf{Y}}^T\mathbf{M}d\mathbf{Y})\\ & =tr({\mathbf{Y}}^T{\mathbf{M}}^{T}d\mathbf{Y})+tr({\mathbf{Y}}^T\mathbf{M}d\mathbf{Y})\\ & =tr({\mathbf{Y}}^T(\mathbf{M}+{\mathbf{M}}^T)d\mathbf{Y})\end{array}$$
(2)根据导数与微分的联系$df=tr\left({\frac{\partial f}{\partial \mathbf{Y}}}^{T}d\mathbf{Y}\right)$，有：
$$\frac{\partial f}{\partial \mathbf{Y}}=({\mathbf{M}}^T+\mathbf{M})\mathbf{Y}=2\mathbf{M}\mathbf{Y}$$
再求$\frac{\partial f}{\partial \mathbf{X}}$：

(3)求出$df$（自变量$\mathbf{X}$）：
$$\begin{array}{rl}df& =tr\left({\frac{\partial f}{\partial \mathbf{Y}}}^{T}d\mathbf{Y}\right)\\ & =tr({\frac{\partial f}{\partial \mathbf{Y}}}^T({\sigma }^{\prime }(\mathbf{W}\mathbf{X})\ast (\mathbf{W}d\mathbf{X})))\\ & =tr\left(\right(\frac{\partial f}{\partial \mathbf{Y}}\ast {\sigma }^{\prime }(\mathbf{W}\mathbf{X}){)}^T\mathbf{W}d\mathbf{X})\end{array}$$
(4)根据导数与微分的联系$df=tr\left({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X}\right)$，有：
$$\frac{\partial f}{\partial \mathbf{X}}={\mathbf{W}}^T(\frac{\partial f}{\partial \mathbf{Y}}\ast {\sigma }^{\prime }(\mathbf{W}\mathbf{X}))={\mathbf{W}}^T((2\mathbf{M}\sigma (\mathbf{W}\mathbf{X}))\ast {\sigma }^{\prime }(\mathbf{W}\mathbf{X}))$$

但是很多时候，求导的自变量和因变量间有复杂的链式求导关系，若不使用链式法则计算会有些麻烦。

1、向量对向量求导的链式法则

设向量$\mathbf{x}(m\times 1),\mathbf{y}(n\times 1),\mathbf{z}(p\times 1)$存在如下依赖关系：
$$\mathbf{x}\to \mathbf{y}\to \mathbf{z}$$
则我们有如下链式法则：
$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\frac{\partial \mathbf{z}}{\partial \mathbf{y}}$$
从维度的角度可以验证上述做法的合理性：

等式左侧是一个$m\times p$维的矩阵，等式右侧是一个$m\times n$维矩阵和一个$n\times p$维矩阵的积，因此维度是相容的。

2、标量对多个向量求导的链式法则

设有依赖关系：
$${\mathbf{y}}_1\to {\mathbf{y}}_2\to \cdots \to {\mathbf{y}}_n\to z$$
则我们有如下链式法则：
$$\frac{\partial z}{\partial {\mathbf{y}}_1}=\frac{\partial {\mathbf{y}}_2}{\partial {\mathbf{y}}_1}\frac{\partial {\mathbf{y}}_3}{\partial {\mathbf{y}}_2}\dots \frac{\partial {\mathbf{y}}_n}{\partial {\mathbf{y}}_{n-1}}\frac{\partial z}{\partial {\mathbf{y}}_n}$$

3、标量对多个矩阵求导的链式法则

设有依赖关系：
$$\mathbf{X}\to \mathbf{Y}\to z$$
则我们有如下链式法则：
$$\frac{\partial z}{\partial x_{ij}}=\sum _{k,l}\frac{\partial z}{\partial y_{kl}}\frac{\partial y_{kl}}{\partial x_{ij}}=tr((\frac{\partial z}{\partial \mathbf{Y}}{)}^T\frac{\partial \mathbf{Y}}{\partial x_{ij}})$$
矩阵对矩阵的求导比较复杂，我们在下一节专门讨论。这里只是给出了对矩阵中的任一标量的链式求导方法，即如何求解$\frac{\partial z}{\partial x_{ij}}$，而没有给出如何求解整体$\frac{\partial z}{\partial \mathbf{X}}$。不过对于$\frac{\partial z}{\partial \mathbf{X}}$的求解，还是有一些有用的结论容易获得，比如下面这个例子。

例8：$z=f(\mathbf{Y}),\mathbf{Y}=\mathbf{A}\mathbf{X}+\mathbf{B}$，求$\frac{\partial z}{\partial \mathbf{X}}$其中$\mathbf{A},\mathbf{B},\mathbf{X},\mathbf{Y}$都是矩阵，$z$是标量。

解：(1)由标量对矩阵的导数与微分的关系以及矩阵微分运算，有：
$$dz=tr\left({\frac{\partial z}{\partial \mathbf{Y}}}^{T}d\mathbf{Y}\right)=tr\left({\frac{\partial z}{\partial \mathbf{Y}}}^T\mathbf{A}d\mathbf{X}\right)$$

(2)再由$dz=tr\left({\frac{\partial z}{\partial \mathbf{X}}}^{T}d\mathbf{X}\right)$，有：
$$\frac{\partial z}{\partial \mathbf{X}}={\mathbf{A}}^T\frac{\partial z}{\partial \mathbf{Y}}$$

五、矩阵对矩阵的求导

1、基本方法

我们首先对这2个矩阵$\mathbf{Y}(p\times q)$和$\mathbf{X}(m\times n)$进行向量化：
$$\begin{array}{rl}vec(\mathbf{Y})& =[y_{11},\dots ,y_{p1},y_{12},\dots ,y_{p2},\dots ,y_{1q},\dots ,y_{pq}{]}^T\\ vec(\mathbf{X})& =[x_{11},\dots ,x_{m1},x_{12},\dots ,x_{m2},\dots ,x_{1n},\dots ,x_{mn}{]}^T\end{array}$$
从而我们可以把矩阵对矩阵的导数转化为向量对向量的导数（分母布局）：
$$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}=\frac{\partial vec(\mathbf{Y})}{\partial vec(\mathbf{X})}$$
其中，$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$是一个$mn\times pq$维的矩阵。并且，根据向量对向量的导数和微分的关系，我们有：
$$vec(d\mathbf{Y})={\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}}^{T}vec(d\mathbf{X})$$
按此定义，$\frac{\partial f}{\partial \mathbf{X}}$的定义会产生歧义，设$\mathbf{X}$是$m\times n$维矩阵，则：

• 按照标量对矩阵求导的原则，结果应该是一个$m\times n$维矩阵。
• 按照矩阵对矩阵求导的原则，结果应该是一个$mn\times 1$维矩阵。

为了避免混淆，用记号${\nabla }_{\mathbf{X}}f$表示标量对矩阵导数，而$\frac{\partial f}{\partial \mathbf{X}}=vec({\nabla }_{\mathbf{X}}f)$。

标量对矩阵的二阶导数，又称为Hessian矩阵，定义如下：
$${\nabla }_{\mathbf{X}}^{2}f=\frac{{\partial }^{2}f}{\partial {\mathbf{X}}^2}=\frac{\partial {\nabla }_{\mathbf{X}}f}{\partial \mathbf{X}}$$
其中，${\nabla }_{\mathbf{X}}^{2}f$是一个$mn\times mn$维的对称矩阵。

微分法求矩阵$\mathbf{F}$对矩阵$\mathbf{X}$的导数的一般步骤概括如下：

• (1)根据给定的$\mathbf{F}$求出$d\mathbf{F}$。
• (2)将$d\mathbf{F}$向量化为$vec(d\mathbf{F})$，并进行化简。
• (3)根据导数与微分的关系$vec(d\mathbf{F})={\frac{\partial \mathbf{F}}{\partial \mathbf{X}}}^{T}vec(d\mathbf{X})$，求得$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$。

2、链式法则

设有依赖关系：
$$\mathbf{X}\to \mathbf{Y}\to \mathbf{Z}$$
根据导数与微分的联系，有：
$$vec(d\mathbf{F})={\frac{\partial \mathbf{F}}{\partial \mathbf{Y}}}^{T}vec(d\mathbf{Y})={\frac{\partial \mathbf{F}}{\partial \mathbf{Y}}}^T{\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}}^{T}vec(d\mathbf{X})$$
从而有链式法则：
$$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}=\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}\frac{\partial \mathbf{F}}{\partial \mathbf{Y}}$$

例9：$\mathbf{F}=\mathbf{A}\mathbf{X}$，$\mathbf{X}$是$m\times n$维矩阵，求$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$。

解：(1)根据给定的$\mathbf{F}$求出$d\mathbf{F}$：
$$d\mathbf{F}=\mathbf{A}d\mathbf{X}$$
(2)将$d\mathbf{F}$向量化为$vec(d\mathbf{F})$，并进行化简：
$$vec(d\mathbf{F})=vec(\mathbf{A}d\mathbf{X})=({\mathbf{I}}_n\otimes \mathbf{A})vec(d\mathbf{X})$$
(3)根据导数与微分的关系$vec(d\mathbf{F})={\frac{\partial \mathbf{F}}{\partial \mathbf{X}}}^{T}vec(d\mathbf{X})$，求得$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$：
$$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}={\mathbf{I}}_n\otimes {\mathbf{A}}^T$$

例10：$f=ln|\mathbf{X}|$，$\mathbf{X}$是$n\times n$矩阵，求${\nabla }_{\mathbf{X}}f$和${\nabla }_{\mathbf{X}}^{2}f$。

解：(1)首先求${\nabla }_{\mathbf{X}}f$：

$df=tr({\mathbf{X}}^{-1}d\mathbf{X})$，故${\nabla }_{\mathbf{X}}f=({\mathbf{X}}^{-1}{)}^T$。于是问题转化为：$\mathbf{F}=({\mathbf{X}}^{-1}{)}^T$，求$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$。

(2)根据给定的$\mathbf{F}$求出$d\mathbf{F}$：
$$d\mathbf{F}=-({\mathbf{X}}^{-1}d\mathbf{X}{\mathbf{X}}^{-1}{)}^T$$
(3)将$d\mathbf{F}$向量化为$vec(d\mathbf{F})$，并进行化简：
$$vec(d\mathbf{F})=-{\mathbf{K}}_{nn}vec({\mathbf{X}}^{-1}d\mathbf{X}{\mathbf{X}}^{-1})=-{\mathbf{K}}_{nn}(({\mathbf{X}}^{-1}{)}^T\ast {\mathbf{X}}^{-1})vec(d\mathbf{X})$$
其中${\mathbf{K}}_{nn}$是一个交换矩阵。

(4)根据导数与微分的关系$vec(d\mathbf{F})={\frac{\partial \mathbf{F}}{\partial \mathbf{X}}}^{T}vec(d\mathbf{X})$，求得$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$：
$$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}={\frac{\partial \mathbf{F}}{\partial \mathbf{X}}}^T=-{\mathbf{K}}_{nn}(({\mathbf{X}}^{-1}{)}^T\ast {\mathbf{X}}^{-1})$$

例11：$\mathbf{F}=\mathbf{A}exp(\mathbf{X}\mathbf{B})$，求$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$。其中$\mathbf{A}$是$l\times m$矩阵，$\mathbf{X}$是$m\times n$矩阵，$\mathbf{B}$是$n\times p$矩阵，$exp$为逐元素求指数函数。

解：(1)根据给定的$\mathbf{F}$求出$d\mathbf{F}$：
$$d\mathbf{F}=\mathbf{A}(exp(\mathbf{X}\mathbf{B})\ast (d\mathbf{X}\mathbf{B}))$$
(2)将$d\mathbf{F}$向量化为$vec(d\mathbf{F})$，并进行化简：
$$\begin{array}{rl}vec(d\mathbf{F})& =({\mathbf{I}}_p\otimes \mathbf{A})vec(exp(\mathbf{X}\mathbf{B})\ast (d\mathbf{X}\mathbf{B}))\\ & =({\mathbf{I}}_p\otimes \mathbf{A})diag(exp(\mathbf{X}\mathbf{B}))vec(d\mathbf{X}\mathbf{B})\\ & =({\mathbf{I}}_p\otimes \mathbf{A})diag(exp(\mathbf{X}\mathbf{B}))({\mathbf{B}}^T\otimes {\mathbf{I}}_m)vec(d\mathbf{X})\end{array}$$
其中$diag(\mathbf{A})$是用$\mathbf{A}$的元素（按列优先）排成的对角阵。

(3)根据导数与微分的关系$vec(d\mathbf{F})={\frac{\partial \mathbf{F}}{\partial \mathbf{X}}}^{T}vec(d\mathbf{X})$，求得$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$：
$$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}=(\mathbf{B}\otimes {\mathbf{I}}_m)diag(exp(\mathbf{X}\mathbf{B}))({\mathbf{I}}_p\otimes {\mathbf{A}}^T)$$

例12：$l=-y{\mathbf{x}}^T\mathbf{w}+ln(1+exp({\mathbf{x}}^T\mathbf{w}))$，求${\nabla }_{\mathbf{w}}l$和${\nabla }_{\mathbf{w}}^{2}l$。其中$y$是取值为$0$或$1$的标量，$\mathbf{x},\mathbf{w}$是$n\times 1$列向量。

解：(1)${\nabla }_{\mathbf{w}}l$是个标量对向量的导数，有：
$$dl=-y{\mathbf{x}}^{T}d\mathbf{w}+(1+exp({\mathbf{x}}^T\mathbf{w}){)}^{-1}\ast exp({\mathbf{x}}^T\mathbf{w})\ast ({\mathbf{x}}^{T}d\mathbf{w})$$
所以：
$${\nabla }_{\mathbf{w}}l=\mathbf{x}(\sigma ({\mathbf{x}}^T\mathbf{w})-y)$$
其中，$\sigma (a)=\frac{exp(a)}{1+exp(a)}$是sigmoid函数。

(2)${\nabla }_{\mathbf{w}}^{2}l$是个向量对向量的导数，有：
$$d{\nabla }_{\mathbf{w}}l=\mathbf{x}{\sigma }^{\prime }({\mathbf{x}}^T\mathbf{w}){\mathbf{x}}^{T}d\mathbf{w}$$
所以：
$${\nabla }_{\mathbf{w}}^{2}l=\mathbf{x}{\sigma }^{\prime }({\mathbf{x}}^T\mathbf{w}){\mathbf{x}}^T$$

例13：$l={\sum }_{i=1}^N(-y_i{\mathbf{x}}_i^T\mathbf{w}+ln(1+exp({\mathbf{x}}_i^T\mathbf{w})))$，求${\nabla }_{\mathbf{w}}l$和${\nabla }_{\mathbf{w}}^{2}l$。其中$y_i$是标量，${\mathbf{x}}_i,\mathbf{w}$是$n\times 1$列向量。

解：(1)求${\nabla }_{\mathbf{w}}l$（标量对向量的导数）：

定义矩阵$\mathbf{X}=[{\mathbf{x}}_1^T,\dots ,{\mathbf{x}}_N^T{]}^T(N\times n)$，向量$\mathbf{y}=[y_1,\dots ,y_N{]}^T$，从而可以将$l$写成矩阵形式：
$$l=-{\mathbf{y}}^T\mathbf{X}\mathbf{w}+1^{T}ln(1+exp(\mathbf{X}\mathbf{w}))$$
其中$1$是全$1$的$N\times 1$列向量。

求$l$的微分有：
$$\begin{array}{rl}dl& =-{\mathbf{y}}^T\mathbf{X}d\mathbf{w}+1^T(\frac{1}{1+exp(\mathbf{X}\mathbf{w})}\ast exp(\mathbf{X}\mathbf{w})\ast (\mathbf{X}d\mathbf{w}))\\ & =-{\mathbf{y}}^T\mathbf{X}d\mathbf{w}+1^T(\sigma (\mathbf{X}\mathbf{w})\ast (\mathbf{X}d\mathbf{w}))\\ & =-{\mathbf{y}}^T\mathbf{X}d\mathbf{w}+(1\ast \sigma (\mathbf{X}\mathbf{w}){)}^T\mathbf{X}d\mathbf{w}\\ & =-{\mathbf{y}}^T\mathbf{X}d\mathbf{w}+\sigma (\mathbf{X}\mathbf{w}{)}^T\mathbf{X}d\mathbf{w}\end{array}$$
故：
$${\nabla }_{\mathbf{w}}l={\mathbf{X}}^T(\sigma (\mathbf{X}\mathbf{w})-\mathbf{y})$$
(2)求${\nabla }_{\mathbf{w}}^{2}l$（向量对向量的导数）：

求${\nabla }_{\mathbf{w}}l$的微分有：
$$d{\nabla }_{\mathbf{w}}l={\mathbf{X}}^T({\sigma }^{\prime }(\mathbf{X}\mathbf{w})\ast (\mathbf{X}d\mathbf{w}))={\mathbf{X}}^{T}diag({\sigma }^{\prime }(\mathbf{X}\mathbf{w}))\mathbf{X}d\mathbf{w}$$
从而：
$${\nabla }_{\mathbf{w}}^{2}l={\mathbf{X}}^{T}diag({\sigma }^{\prime }(\mathbf{X}\mathbf{w}))\mathbf{X}$$

附录

1、矩阵的迹

1.1迹的定义

$n\times n$矩阵$\mathbf{A}$的对角线元素之和称为$\mathbf{A}$的迹(trace)，记作$tr(\mathbf{A})$，非正方矩阵无迹的定义。

1.2关于迹的等式

(1)若$\mathbf{A}$和$\mathbf{B}$均为$n\times n$矩阵，则$tr(\mathbf{A}\pm \mathbf{B})=tr(\mathbf{A})\pm tr(\mathbf{B})$。

(2)若$\mathbf{A}$和$\mathbf{B}$均为$n\times n$矩阵，且$c_1$和$c_2$为常数，则$tr(c_1\mathbf{A}\pm c_2\mathbf{B})=c_{1}tr(\mathbf{A})\pm c_{2}tr(\mathbf{B})$。

(3)$tr({\mathbf{A}}^T)=tr(\mathbf{A})$。

(4)若矩阵$\mathbf{A}$和矩阵${\mathbf{B}}^T$形状相同，则$tr(\mathbf{A}\mathbf{B})=tr(\mathbf{B}\mathbf{A})$。

(5)若矩阵$\mathbf{A},\mathbf{B},\mathbf{C}$均为$m\times n$矩阵，则$tr({\mathbf{A}}^T(\mathbf{B}\ast \mathbf{C}))=tr((\mathbf{A}\ast \mathbf{B}{)}^T\mathbf{C})$。

(6)若$\mathbf{A}$和$\mathbf{B}$均为方阵，则$tr(\mathbf{A}\otimes \mathbf{B})=tr(\mathbf{A})tr(\mathbf{B})$。

(7)若矩阵$\mathbf{A}$和矩阵$\mathbf{B}$形状相同，则$tr({\mathbf{A}}^T\mathbf{B})=(vec(\mathbf{A}){)}^{T}vec(\mathbf{B})=⟨\mathbf{A},\mathbf{B}⟩$。

2、Hadamard积

2.1Hadamard积的定义

$m\times n$矩阵$\mathbf{A}=[a_{ij}]$与$m\times n$矩阵$\mathbf{B}=[b_{ij}]$的Hadamard积记作$\mathbf{A}\ast \mathbf{B}$，它仍然是一个$m\times n$矩阵，其元素定义为两个矩阵对应元素的乘积：
$$(\mathbf{A}\ast \mathbf{B}{)}_{ij}=a_{ij}{b}_{ij}$$
Hadamard积也称Schur积或者对应元素乘积（简称元素积）。

2.2Hadamard积的性质

(1)若$\mathbf{A}$和$\mathbf{B}$均为$m\times n$矩阵，则$(\mathbf{A}\ast \mathbf{B}{)}^T=({\mathbf{A}}^T\ast {\mathbf{B}}^T)$。

(2)若$c$为常数，则$c(\mathbf{A}\ast \mathbf{B})=(c\mathbf{A})\ast \mathbf{B}=\mathbf{A}\ast (c\mathbf{B})$。

(3)若$\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$均为$m\times n$矩阵，则$(\mathbf{A}+\mathbf{B})\ast (\mathbf{C}+\mathbf{D})=\mathbf{A}\ast \mathbf{C}+\mathbf{A}\ast \mathbf{D}+\mathbf{B}\ast \mathbf{C}+\mathbf{B}\ast \mathbf{D}$。

3、Kronecker积

3.1Kronecker积的定义

两个矩阵的Kronecker积分为右Kronecker积和左Kronecker积。

(1)右Kronecker积：$m\times n$矩阵$\mathbf{A}$和$p\times q$矩阵$\mathbf{B}$的右Kronecker积$\mathbf{A}\otimes \mathbf{B}$是一个$mp\times nq$矩阵，定义为：
$$\mathbf{A}\otimes \mathbf{B}=[a_{ij}\mathbf{B}{]}_{i=1,j=1}^{m,n}$$
(2)左Kronecker积：$m\times n$矩阵$\mathbf{A}$和$p\times q$矩阵$\mathbf{B}$的左Kronecker积$\mathbf{A}\otimes \mathbf{B}$是一个$mp\times nq$矩阵，定义为：
$$\mathbf{A}\otimes \mathbf{B}=[\mathbf{A}{b}_{ij}{]}_{i=1,j=1}^{p,q}$$
通常多采用右Kronecker积，为避免混淆，本文一律采用右Kronecker积，简称为Kronecker积（张量积）。

3.2Kronecker积的性质

(1)若$\alpha$和$\beta$为常数，则$(\alpha \mathbf{A})\otimes (\beta \mathbf{B})=\alpha \beta (\mathbf{A}\otimes \mathbf{B})$。

(2)单位矩阵间的Kronecker积满足：${\mathbf{I}}_m\otimes {\mathbf{I}}_n={\mathbf{I}}_{mn}$。

(3)对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{n\times k},{\mathbf{C}}_{l\times p},{\mathbf{D}}_{p\times q}$，有$(\mathbf{A}\mathbf{B})\otimes (\mathbf{C}\mathbf{D})=(\mathbf{A}\otimes \mathbf{C})(\mathbf{B}\otimes \mathbf{D})$。

(4)对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{p\times q},{\mathbf{C}}_{p\times q}$，有
$$\begin{array}{rl}\mathbf{A}\otimes (\mathbf{B}\pm \mathbf{C})& =\mathbf{A}\otimes \mathbf{B}\pm \mathbf{A}\otimes \mathbf{C}\\ (\mathbf{B}\pm \mathbf{C})\otimes \mathbf{A}& =\mathbf{B}\otimes \mathbf{A}\pm \mathbf{C}\otimes \mathbf{A}\end{array}$$
(5)Kronecker积的转置满足：$(\mathbf{A}\otimes \mathbf{B}{)}^T={\mathbf{A}}^T\otimes {\mathbf{B}}^T$。

(6)Kronecker积的逆矩阵满足：$(\mathbf{A}\otimes \mathbf{B}{)}^{-1}={\mathbf{A}}^{-1}\otimes {\mathbf{B}}^{-1}$。

(7)Kronecker积的行列式满足：$det({\mathbf{A}}_{n\times n}\otimes {\mathbf{B}}_{m\times m})=(det\mathbf{A}{)}^m(det\mathbf{B}{)}^n$。

(8)对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{m\times n},{\mathbf{C}}_{p\times q},{\mathbf{D}}_{p\times q}$，有$(\mathbf{A}+\mathbf{B})\otimes (\mathbf{C}+\mathbf{D})=\mathbf{A}\otimes \mathbf{C}+\mathbf{A}\otimes \mathbf{D}+\mathbf{B}\otimes \mathbf{C}+\mathbf{B}\otimes \mathbf{D}$。

(9)对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{p\times q},{\mathbf{C}}_{k\times l}$，有$(\mathbf{A}\otimes \mathbf{B})\otimes \mathbf{C}=\mathbf{A}\otimes (\mathbf{B}\otimes \mathbf{C})$。

(10)对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{k\times l},{\mathbf{C}}_{p\times q},{\mathbf{D}}_{r\times s}$，有$(\mathbf{A}\otimes \mathbf{B})\otimes (\mathbf{C}\otimes \mathbf{D})=\mathbf{A}\otimes \mathbf{B}\otimes \mathbf{C}\otimes \mathbf{D}$。

(11)对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{p\times q}$，有$exp(\mathbf{A}\otimes \mathbf{B})=exp(\mathbf{A})\otimes exp(\mathbf{B})$。

(12))对于矩阵${\mathbf{A}}_{m\times n},{\mathbf{B}}_{p\times q}$，有
$$\begin{array}{rl}{\mathbf{K}}_{pm}(\mathbf{A}\otimes \mathbf{B})& =(\mathbf{B}\otimes \mathbf{A}){\mathbf{K}}_{qn}\\ {\mathbf{K}}_{pm}(\mathbf{A}\otimes \mathbf{B}){\mathbf{K}}_{nq}& =\mathbf{B}\otimes \mathbf{A}\end{array}$$

4、置换矩阵

4.1置换矩阵的定义

一个正方矩阵称为置换矩阵，若它的每一行和每一列有且仅有一个非零元素1（其余位置为0）。

4.2置换矩阵的性质

置换矩阵$\mathbf{P}$是正交矩阵，即${\mathbf{P}}^T\mathbf{P}=\mathbf{P}{\mathbf{P}}^T=\mathbf{I}$。

5、矩阵的向量化

5.1向量化算子的定义

$m\times n$矩阵的（列）向量化$vec(\mathbf{A})$将矩阵$\mathbf{A}=[a_{ij}]$的元素按列堆栈，排成一个$mn\times 1$向量
$$vec(\mathbf{A})=[a_{11},\dots ,a_{m1},\dots ,a_{1n},\dots ,a_{mn}{]}^T$$
矩阵也可以按行堆栈为行向量$rvec(\mathbf{A})$。称为矩阵的行向量化，定义为
$$rvec(\mathbf{A})=[a_{11},\dots ,a_{1n},\dots ,a_{m1},\dots ,a_{mn}]$$
显然矩阵的向量化和行向量化之间存在如下关系
$$vec({\mathbf{A}}^T)=(rvec(\mathbf{A}){)}^T$$

5.2交换矩阵的定义

显然，对于一个$m\times n$矩阵$\mathbf{A}$，向量$vec(\mathbf{A})$和$vec({\mathbf{A}}^T)$含有相同的元素，但排列次序不同。因此，存在一个唯一的$mn\times mn$置换矩阵，可以将一个矩阵的向量化$vec(\mathbf{A})$变为其转置矩阵的向量化$vec({\mathbf{A}}^T)$。这一置换矩阵称为交换矩阵，记作${\mathbf{K}}_{mn}$，定义为
$${\mathbf{K}}_{mn}vec({\mathbf{A}}_{m\times n})=vec({\mathbf{A}}^T)$$
类似地，可以将转置矩阵的向量化$vec({\mathbf{A}}^T)$变为原矩阵的向量化$vec(\mathbf{A})$的交换矩阵是一和$nm\times nm$置换矩阵，记作${\mathbf{K}}_{nm}$，定义为
$${\mathbf{K}}_{nm}vec({\mathbf{A}}^T)=vec({\mathbf{A}}_{m\times n})$$
$mn\times mn$交换矩阵${\mathbf{K}}_{mn}$的构造方法如下：每一行只赋一个元素1，其余元素全部为0。首先，第1行第1个元素为1，然后这个1元素右移m位，变成第2行该位置的1元素。第2行该位置的1元素再右移m位，变成第3行该位置的1元素。依此类推，找到所有的1元素。但是，如果右移时超过第mn列，则应该转到下一行第1列继续移位，并多移动1位，再在此位置赋1。

5.3交换矩阵的性质

(1)${\mathbf{K}}_{nm}{\mathbf{K}}_{mn}={\mathbf{K}}_{mn}{\mathbf{K}}_{nm}={\mathbf{I}}_{mn}$。

(2)${\mathbf{K}}_{mn}^T{\mathbf{K}}_{mn}={\mathbf{K}}_{mn}{\mathbf{K}}_{mn}^T={\mathbf{I}}_{mn}$。

(3)${\mathbf{K}}_{mn}^T={\mathbf{K}}_{nm}$。

(4)${\mathbf{K}}_{1n}={\mathbf{K}}_{n1}={\mathbf{I}}_n$。

5.4向量化算子的性质

(1)矩阵之和的向量化：$vec(\mathbf{A}+\mathbf{B})=vec(\mathbf{A})+vec(\mathbf{B})$。

(2)$m\times n$矩阵$\mathbf{A}$和$\mathbf{B}$的Hadamard积的向量化：$vec(\mathbf{A}\ast \mathbf{B})=vec(\mathbf{A})\ast vec(\mathbf{B})=diag(vec(\mathbf{A}))vec(\mathbf{B})$。

其中$diag(vec(\mathbf{A}))$表示以$vec(\mathbf{A})$的各元素（按列排列）为对角元素的对角矩阵。

(3)两个向量的Kronecker积与向量化算子：$\mathbf{a}\otimes \mathbf{b}=vec(\mathbf{b}{\mathbf{a}}^T)$。

(4)矩阵${\mathbf{A}}_{m\times p}{\mathbf{B}}_{p\times q}{\mathbf{C}}_{q\times n}$乘积的向量化与Kronecker积的关系：
$$\begin{array}{rl}vec(\mathbf{A}\mathbf{B}\mathbf{C})& =({\mathbf{C}}^T{\mathbf{B}}^T\otimes {\mathbf{I}}_m)vec(\mathbf{A})\\ vec(\mathbf{A}\mathbf{B}\mathbf{C})& =({\mathbf{C}}^T\otimes \mathbf{A})vec(\mathbf{B})\\ vec(\mathbf{A}\mathbf{B}\mathbf{C})& =({\mathbf{I}}_q\otimes \mathbf{A}\mathbf{B})vec(\mathbf{C})\end{array}$$
(5)Kronecker积的向量化：设有$p\times m$矩阵$\mathbf{X}$和$n\times q$矩阵$\mathbf{Y}$，则：
$$vec(\mathbf{X}\otimes \mathbf{Y})=({\mathbf{I}}_m\otimes {\mathbf{K}}_{qp}\otimes {\mathbf{I}}_n)(vec(\mathbf{X})\otimes vec(\mathbf{Y}))$$

6、实矩阵微分运算

6.1矩阵微分的定义

$m\times n$矩阵$\mathbf{X}$的微分用符号$d\mathbf{X}$表示，定义为$d\mathbf{X}=[d{x}_{ij}{]}_{i=1,j=1}^{m,n}$。

6.2矩阵微分的常用计算公式

(1)常数矩阵的微分矩阵为零矩阵，即$d\mathbf{A}=\mathbf{O}$。

(2)常数$\alpha$与矩阵$\mathbf{X}$的乘积的微分矩阵为$d(\alpha \mathbf{X})=\alpha d\mathbf{X}$。

(3)矩阵转置的微分矩阵为$d({\mathbf{X}}^T)=(d\mathbf{X}{)}^T$。

(4)两个矩阵函数的和（差）的微分矩阵为$d(\mathbf{U}\pm \mathbf{V})=d\mathbf{U}\pm d\mathbf{V}$。

(5)两个矩阵函数乘积的微分矩阵为$d(\mathbf{U}\mathbf{V})=(d\mathbf{U})\mathbf{V}+\mathbf{U}(d\mathbf{V})$。

(6)矩阵的迹的微分矩阵为$d(tr(\mathbf{X}))=tr(d\mathbf{X})$。

(7)行列式的微分为$d|\mathbf{X}|=tr({\mathbf{X}}^{\ast }d\mathbf{X})$，其中${\mathbf{X}}^{\ast }$表示$\mathbf{X}$的伴随矩阵，在$\mathbf{X}$可逆时又可以写作$d|\mathbf{X}|=|\mathbf{X}|tr({\mathbf{X}}^{-1}d\mathbf{X})$。

(8)矩阵的Hadamard积的微分矩阵为$d(\mathbf{U}\ast \mathbf{V})=(d\mathbf{U})\ast \mathbf{V}+\mathbf{U}\ast (d\mathbf{V})$。

(9)矩阵的Kronecker积的微分矩阵为$d(\mathbf{U}\otimes \mathbf{V})=(d\mathbf{U})\otimes \mathbf{V}+\mathbf{U}\otimes (d\mathbf{V})$。

(10)向量化函数的微分矩阵为$d(vec(\mathbf{X}))=vec(d\mathbf{X})$。

(11)矩阵对数的微分矩阵为$d(ln\mathbf{X})={\mathbf{X}}^{-1}d\mathbf{X}$。

(12)逆矩阵的微分矩阵为$d({\mathbf{X}}^{-1})=-{\mathbf{X}}^{-1}(d\mathbf{X}){\mathbf{X}}^{-1}$。

(13)行列式对数的微分矩阵为$d(ln|\mathbf{X}|)=tr({\mathbf{X}}^{-1}d\mathbf{X})$，其中矩阵$\mathbf{X}$可逆。

(14)逐元素函数的微分矩阵为$d(f(\mathbf{X}))=f^{\prime }(\mathbf{X})\ast d\mathbf{X}$。

参考资料

[1]知乎：《机器学习中的数学理论1：三步搞定矩阵求导》
[2]张贤达：《矩阵分析与应用》