由浅入深超级详细而系统的向量、矩阵求导，非常适合初学者收藏 V1.0

本文简介

      本文通过举例由浅入深地、系统地讲解了分子分母两种布局，标量、向量和矩阵之间导数的定义，利用微分法求解标量、向量和矩阵之间的导数。非常适合刚接触矩阵导数，但找不到系统学习资料的小白。在后续的内容中将会结合机器学习和深度学习等给出更加复杂求导计算。本人水平有限，且时间仓促，疏漏和错误之处在所难免，望指正错误。

符号说明

      在讲解之前，我们需要对标量、向量、矩阵的表示符号进行统一，以便理解。和常规定义一样，这里的定义如下：

矩阵空间：$M(m,n)$ 表示$m$行$n$列的实$m\times n$矩阵空间

矩阵：使用粗体大写字母表示，如$\mathbf{A},\mathbf{X},\mathbf{Y}$

列向量：$M(m,1)$ 的元素，用黑体小写字母表示：
    如，$\mathbf{a}=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{n}}{]}^{\mathbf{T}}，\mathbf{x}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}{]}^{\mathbf{T}}，\mathbf{y}=[{\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_{\mathbf{n}}{]}^{\mathbf{T}}$

标量：$M(1,1)$的元素，用小写斜体表示：$a，t，x，y$

分子布局和分母布局约定

引言

      我们都知道一维函数的导数和多维函数的偏导数是怎么求解的，但是如果变量很多，求导起来比较麻烦，也不容易表示。于是，我们可以使用向量或矩阵的形式将其表示出来。

引例 1：$y=2x_1+3x_2-x_3$，我们都知道$y$对$x_1,x_2,x_3$偏导分别是$\frac{\partial y}{\partial x_1}=2,\frac{\partial y}{\partial x_2}=3,\frac{\partial y}{\partial x_3}=-1$, 全微分为$dy=2d{x}_1+3d{x}_2-d{x}_3$，梯度为$grad(y)=2\vec{i}+3\vec{j}-\vec{k}$.

      这是三维的情况，写成代数公式还是方便的，倘若多维的则非常复杂，因此考虑将多维变量写成向量或矩阵的形式。故令$\mathbf{x}=[x_1,x_2,x_3]$，则$\frac{\partial y}{\partial \mathbf{x}}=[2,3,-1]$或者$\frac{\partial y}{\partial \mathbf{x}}=[2,3,-1{]}^T$。可以看出$y$对$\mathbf{x}$的导数有两种形式，这两种形式都对。本引例实际上是标量$(y)$对向量$(\mathbf{x})$的导数，其结果也就是把$y$对$x_i$的导数进行了组合，如上所示有两种组合形式，二者相差一个转置。在实际中，我们应该使用哪一个组合方式比较方便呢？这就引出了分子布局、分母布局以及混合布局。

分子布局和分母布局

      这部分讨论了在利用矩阵求导的各个领域中使用的符号约定之间的异同。尽管在很大程度上有两个一致的约定，但是有些情况下将这两个约定混合起来很方便。

      基本问题是向量相对于向量的导数，即 $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$，通常以两种不同的方式编写。如果分子y的大小为m，分母x的大小为n，则结果可以布局为$m\times n$矩阵或$n\times m$矩阵，即y的元素按列排列，x的元素按行排列，反之亦然。这导致以下三种可能的情况：

1、分子布局（numerator layout）： 根据y 和 ${\mathbf{x}}^{\mathbf{T}}$(与 x相反)布局。这有时被称为雅可比(Jacobian)公式 。这对应于先前示例中的$m\times n$布局。求导结果的维度以分子为主。

2、分母布局（denominator layout ）： 根据${\mathbf{y}}^{\mathbf{T}}$ 和 $\mathbf{x}$(与 y相反)布局。这有时被称为Hessian公式。一些人称此布局为梯度，与Jacobian（分子布局）不同，后者是其转置。这对应于先前示例中的$n\times m$布局。（注： 但是无论布局如何，梯度常表示导数 $\frac{\partial y}{\partial \mathbf{x}}$）。求导结果的维度以分母为主

3、第三种布局是将导数写为 $\frac{\partial \mathbf{y}}{\partial {\mathbf{x}}^{\prime }}$ （即，对x的转置取导数）并遵循分子布局。这样可以声称矩阵是根据分子和分母进行布局的。实际上，这产生的结果与分子布局相同。

这样就规定了布局的概念，我们对于标量、向量和矩阵两两之间的9种求导，都可以选择一种布局来求导（结果只是排列方式不同）。但是实际上对于某些求导类型有些布局是不合适的，可以看Tip 3。

      出现了9种求导和三种布局，所以并非所有的教材和论文都在选择布局这方面始终保持一致。例如，有些人计算梯度时选择分母布局（将它们作为列向量布局），但计算向量对向量的导数 $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ ​时选择分子布局。

      但是再一些资料中布局被隐含了，需要我们自己去判断，是比较麻烦的。但是我们一般常用混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。而对于向量对向量求导，存在两种写法。在下面的推到中，会指出使用的哪种布局。

Tip 1: 对于分子布局来说，我们求导结果的维度以分子为主；对于分母布局来说，我们求导结果的维度以分母为主；对于分子布局和分母布局的结果来说，两者相差一个转置。

Tip 2: （这一条来自维基百科，不实用）当处理梯度 $\frac{\partial y}{\partial \mathbf{x}}$ 和 $\frac{\partial \mathbf{y}}{\partial x}$ 时，我们有同样的问题。 为了保持一致，我们应该执行以下操作之一：

1、如果我们选择分子布局计算$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}，$ 我们应该布局梯度$\frac{\partial y}{\partial \mathbf{x}}$作为行向量，并且 $\frac{\partial \mathbf{y}}{\partial x}$作为列向量。

2、如果我们选择分母布局计算 $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}，$我们应该布局梯度$\frac{\partial y}{\partial \mathbf{x}}$ 作为列向量，并且 $\frac{\partial \mathbf{y}}{\partial x}$ 作为行向量。

3、在上面的第三种情况中，我们写$\frac{\partial y}{\partial {\mathbf{x}}^{\prime }}$和$\frac{\partial \mathbf{y}}{\partial x}，$并使用分子布局。

Tip 3: （这一条来自维基百科，不实用）同样，涉及到标量对矩阵求导 $\frac{\partial y}{\partial \mathbf{X}}$ 和矩阵对标量求导 $\frac{\partial \mathbf{Y}}{\partial x}$时，根据$\mathbf{Y}$和${\mathbf{X}}^T$给出分子布局，或者根据${\mathbf{Y}}^T$和$\mathbf{X}$给出分母布局。但是，实际中计算$\frac{\partial \mathbf{Y}}{\partial x}$时，根据${\mathbf{Y}}^T$给出分母布局是很少见的，这是因为它会产生“丑陋”的公式，而不符合标量公式的形式。因此，我们经常看到以下布局:

1、使用分子布局：根据$\mathbf{Y}$写出$\frac{\partial \mathbf{Y}}{\partial x}$，根据${\mathbf{X}}^T$写出$\frac{\partial y}{\partial \mathbf{X}}$。

2、混合布局：根据$\mathbf{Y}$写出$\frac{\partial \mathbf{Y}}{\partial x}$，根据$\mathbf{X}$写出$\frac{\partial y}{\partial \mathbf{X}}$。

3、使用记号$\frac{\partial y}{\partial {\mathbf{X}}^{\prime }}$，结果与分子布局一致。

九种导数的定义

      这里直接给出标量、向量和矩阵之间导数的定义，在后面的内容中会给出几个常用的公式。标量和向量之间的导数形式还是很好确定的，关键是怎么确定向量和向量之间导数的形式。我们可以使用一种不需要死记硬背的推导方式来确定向量和向量之间导数的形式，将在4.3节向量对向量的导数部分详细介绍。

标量和向量之间的导数

标量对向量求导

分子布局：
$$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right]$$
分母布局：
$$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ⋮\\ \frac{\partial y}{\partial x_n}\end{array}\right]$$

向量对标量求导

分子布局：
$$\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ⋮\\ \frac{\partial y_m}{\partial x}\end{array}\right]$$
分母布局：
$$\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x}& \frac{\partial y_2}{\partial x}& \cdots & \frac{\partial y_m}{\partial x}\end{array}\right]$$

向量和向量之间的导数

分子布局：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
分母布局：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
令$\mathbf{x}=[x_1,x_2,\cdots ,x_n{]}^T，\mathbf{y}=[y_1,y_2,\cdots ,y_m{]}^T$，

• 首先推导分子布局的形式：分子布局要始终保证分子的维度不变，并且结果是写成分子纬度的形式。

​ 第一步：保证分子维度不变，求$\frac{\partial \mathbf{y}}{\partial x_i}$。

​ 第二步：将$\frac{\partial \mathbf{y}}{\partial x_i}$将按照$\mathbf{x}$的形式写出来（组合），即得到$[\frac{\partial \mathbf{y}}{\partial x_1},\frac{\partial \mathbf{y}}{\partial x_2},\cdots ,\frac{\partial \mathbf{y}}{\partial x_n}{]}^T$。

到第二步这里也可以使用公式（3）向量对标量求导结果，直接得到公式（6），即最终结果。

​ 第三步：将$\mathbf{y}$展开，即

​ $[\frac{\partial [y_1,y_2,\cdots ,y_m{]}^T}{\partial x_1},\frac{\partial [y_1,y_2,\cdots ,y_m{]}^T}{\partial x_2},\cdots ,\frac{\partial [y_1,y_2,\cdots ,y_m{]}^T}{\partial x_n}{]}^T$

​ $={\left[[\frac{\partial y_1}{\partial x_1},\frac{\partial y_2}{x_1},\cdots ,\frac{\partial y_m}{\partial x_1}{]}^T,[\frac{\partial y_1}{\partial x_2},\frac{\partial y_2}{x_2},\cdots ,\frac{\partial y_m}{\partial x_2}{]}^T,\cdots ,[\frac{\partial y_1}{\partial x_n},\frac{\partial y_2}{x_n},\cdots ,\frac{\partial y_m}{\partial x_n}{]}^T,\right]}^T$

​ $=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$

• 在推导分母布局，分子布局要始终保证分母的维度不变，并且结果是写成分母维度的形式。

​ 第一步：保证分母维度不变，求$\frac{\partial y_i}{\partial \mathbf{x}}$。

​ 第二步：将$\frac{\partial y_i}{\partial \mathbf{x}}$将按照$\mathbf{y}$的形式写出来（组合），即得到$[\frac{\partial y_1}{\partial \mathbf{x}},\frac{\partial y_1}{\partial \mathbf{x}},\cdots ,\frac{\partial y_m}{\partial \mathbf{x}}{]}^T$。

​ 第三步：将$\mathbf{x}$展开，即可得到如公式（6）所示的形式。

可以看出，分子布局和分母布局只是将谁带入到谁里面求偏导的区别，最后转换成 向量对标量 求导还是 标量对向量求导。

标量和矩阵之间的导数

标量对矩阵求导：（逐元素求导）

分子布局：
$$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{21}}& \cdots & \frac{\partial y}{\partial x_{p1}}\\ \frac{\partial y}{\partial x_{12}}& \frac{\partial y}{\partial x_{22}}& \cdots & \frac{\partial y}{\partial x_{p2}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial x_{1q}}& \frac{\partial y}{\partial x_{2q}}& \cdots & \frac{\partial y}{\partial x_{pq}}\end{array}\right]$$
分母布局：
$$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{12}}& \cdots & \frac{\partial y}{\partial x_{1q}}\\ \frac{\partial y}{\partial x_{21}}& \frac{\partial y}{\partial x_{22}}& \cdots & \frac{\partial y}{\partial x_{2q}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial x_{p1}}& \frac{\partial y}{\partial x_{p2}}& \cdots & \frac{\partial y}{\partial x_{pq}}\end{array}\right]$$

矩阵对标量求导：（逐元素求导，只在分子布局中定义）

$$\frac{\partial \mathbf{Y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_{11}}{\partial x}& \frac{\partial y_{12}}{\partial x}& \cdots & \frac{\partial y_{1n}}{\partial x}\\ \frac{\partial y_{21}}{\partial x}& \frac{\partial y_{22}}{\partial x}& \cdots & \frac{\partial y_{2n}}{\partial x}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_{m1}}{\partial x}& \frac{\partial y_{m2}}{\partial x}& \cdots & \frac{\partial y_{mn}}{\partial x}\end{array}\right]$$

$$d\mathbf{X}=\left[\begin{array}{cccc}d{x}_{11}& d{x}_{12}& \cdots & d{x}_{1n}\\ d{x}_{21}& d{x}_{22}& \cdots & d{x}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ d{x}_{m1}& d{x}_{m2}& \cdots & d{x}_{mn}\end{array}\right]$$

向量和矩阵之间的导数

向量和矩阵之间的导数定义比较复杂，一般常用微分法进行求解。特别是矩阵对矩阵的导数即使微分法也比较麻烦。将在第5部分讲解微分法，这里只给出最后的公式，公式详见参考资料[4]。

矩阵对行向量求导

令$\mathbf{Y}=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \cdots & y_{1n}\\ y_{21}& y_{22}& \cdots & y_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ y_{m1}& y_{m2}& \cdots & y_{mn}\end{array}\right]$是$m\times n$矩阵，${\mathbf{x}}^T=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_q\end{array}\right]$是$q$维行向量，则：
$$\frac{\partial \mathbf{Y}}{\partial {\mathbf{x}}^T}=\left[\begin{array}{cccc}\frac{\partial \mathbf{Y}}{\partial x_1}& \frac{\partial \mathbf{Y}}{\partial x_2}& \cdots & \frac{\partial \mathbf{Y}}{\partial x_q}\end{array}\right]\text{\hspace{1em}(11)}$$

矩阵对列向量求导

令$\mathbf{Y}=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \cdots & y_{1n}\\ y_{21}& y_{22}& \cdots & y_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ y_{m1}& y_{m2}& \cdots & y_{mn}\end{array}\right]$是$m\times n$矩阵，$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]$是$p$维列向量，则：
$$\frac{\partial \mathbf{Y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_{11}}{\partial \mathbf{x}}& \frac{\partial y_{12}}{\partial \mathbf{x}}& \cdots & \frac{\partial y_{1n}}{\partial \mathbf{x}}\\ \frac{\partial y_{21}}{\partial \mathbf{x}}& \frac{\partial y_{22}}{\partial \mathbf{x}}& \cdots & \frac{\partial y_{2n}}{\partial \mathbf{x}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_{m1}}{\partial \mathbf{x}}& \frac{\partial y_{m2}}{\partial \mathbf{x}}& \cdots & \frac{\partial y_{mn}}{\partial \mathbf{x}}\end{array}\right]\text{\hspace{1em}(12)}$$

行向量对矩阵求导

设${\mathbf{y}}^T=\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right]$是$n$维行向量，$\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1q}\\ x_{21}& x_{22}& \cdots & x_{2q}\\ ⋮& ⋮& \ddots & ⋮\\ x_{p1}& x_{p2}& \cdots & x_{pq}\end{array}\right]$是$p\times q$矩阵，则：
$$\frac{\partial {\mathbf{y}}^T}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial {\mathbf{y}}^T}{\partial x_{11}}& \frac{\partial {\mathbf{y}}^T}{\partial x_{12}}& \cdots & \frac{\partial {\mathbf{y}}^T}{\partial x_{1q}}\\ \frac{\partial {\mathbf{y}}^T}{\partial x_{21}}& \frac{\partial {\mathbf{y}}^T}{\partial x_{22}}& \cdots & \frac{\partial {\mathbf{y}}^T}{\partial x_{2q}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial {\mathbf{y}}^T}{\partial x_{p1}}& \frac{\partial {\mathbf{y}}^T}{\partial x_{p2}}& \cdots & \frac{\partial {\mathbf{y}}^T}{\partial x_{pq}}\end{array}\right]\text{\hspace{1em}(13)}$$

列向量对矩阵求导

设$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$是$m$维列向量，$\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1q}\\ x_{21}& x_{22}& \cdots & x_{2q}\\ ⋮& ⋮& \ddots & ⋮\\ x_{p1}& x_{p2}& \cdots & x_{pq}\end{array}\right]$是$p\times q$矩阵，则：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{X}}=\left[\begin{array}{c}\frac{\partial {\mathbf{y}}_1}{\partial \mathbf{X}}\\ \frac{\partial {\mathbf{y}}_2}{\partial \mathbf{X}}\\ ⋮\\ \frac{\partial {\mathbf{y}}_m}{\partial \mathbf{X}}\end{array}\right]\text{\hspace{1em}(14)}$$

矩阵之间的导数

令$\mathbf{Y}=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \cdots & y_{1n}\\ y_{21}& y_{22}& \cdots & y_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ y_{m1}& y_{m2}& \cdots & y_{mn}\end{array}\right]=\left[\begin{array}{c}{{\mathbf{y}}_1}^T\\ {{\mathbf{y}}_2}^T\\ ⋮\\ {{\mathbf{y}}_{\mathbf{m}}}^T\end{array}\right]$是$m\times n$矩阵，

 $\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1q}\\ x_{21}& x_{22}& \cdots & x_{2q}\\ ⋮& ⋮& \ddots & ⋮\\ x_{p1}& x_{p2}& \cdots & x_{pq}\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_q\end{array}\right]$是$p\times q$矩阵，则：
$$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial \mathbf{Y}}{\partial {\mathbf{x}}_1}& \frac{\partial \mathbf{Y}}{\partial {\mathbf{x}}_2}& \cdots & \frac{\partial \mathbf{Y}}{\partial {\mathbf{x}}_q}\end{array}\right]=\left[\begin{array}{c}\frac{\partial {{\mathbf{y}}_1}^T}{\partial \mathbf{X}}\\ \frac{\partial {{\mathbf{y}}_2}^T}{\partial \mathbf{X}}\\ ⋮\\ \frac{\partial {{\mathbf{y}}_{\mathbf{m}}}^T}{\partial \mathbf{X}}\end{array}\right]=\left[\begin{array}{cccc}\frac{\partial {\mathbf{y}}_1^T}{\partial {\mathbf{x}}_1}& \frac{\partial {\mathbf{y}}_1^T}{\partial {\mathbf{x}}_2}& \cdots & \frac{\partial {\mathbf{y}}_1^T}{\partial {\mathbf{x}}_q}\\ \frac{\partial {\mathbf{y}}_2^T}{\partial {\mathbf{x}}_1}& \frac{\partial {\mathbf{y}}_2^T}{\partial {\mathbf{x}}_2}& \cdots & \frac{\partial {\mathbf{y}}_2^T}{\partial {\mathbf{x}}_q}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial {\mathbf{y}}_m^T}{\partial {\mathbf{x}}_1}& \frac{\partial {\mathbf{y}}_m^T}{\partial {\mathbf{x}}_2}& \cdots & \frac{\partial {\mathbf{y}}_m^T}{\partial {\mathbf{x}}_q}\end{array}\right]\text{\hspace{1em}(15)}$$

微分法（重点）

      对于矩阵中每一个元素，我们虽然可以利用逐元素法直接计算出偏导$\partial f_{kl}/\partial x_{ij}$以正确求出很多矩阵函数的雅可比形式或梯度矩阵，但是对于复杂的矩阵函数（例如矩阵的逆矩阵、矩阵的指数函数等）。偏导$\partial f_{kl}/\partial x_{ij}$的计算就比较繁琐和困难（证明的繁琐性详见参考资料[2]的3.1小节）。因此，我们希望有一种容易记忆和掌握的数学工具，能够有效地计算实值标量函数和实值矩阵函数的雅可比矩阵或梯度矩阵。这种“数学工具”就是本节的微分法。

标量与向量

引例(采用的分母布局)：令$y=2x_1+3x_2+4x_3$,则$dy=2d{x}_1+3d{x}_2+4d{x}_3=[2,3,4]\left[\begin{array}{c}d{x}_1\\ d{x}_2\\ d{x}_3\end{array}\right]$。于是，令 $\mathbf{x}=[x_1,x_2,x_3{]}^T,d\mathbf{x}=[d{x}_1,d{x}_2,d{x}_3{]}^T$ ,则$\frac{\partial y}{\partial \mathbf{x}}=[2,3,4{]}^T$，所以$dy=(\frac{\partial y}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}$。

通过引例，我们可以看出标量全微分和梯度之间存在关系。我们将这种关系推广到$n$维，则有：
$$dy=(\frac{\partial y}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}\text{\hspace{1em}(16)}$$

标量与矩阵

引例(采用的分母布局)：令$\mathbf{X}=\left[\begin{array}{c}{x}_{11},x_{12}\\ x_{21},x_{22}\end{array}\right]$，那么$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_{11}},\frac{\partial y}{\partial x_{12}}\\ \frac{\partial y}{\partial x_{21}},\frac{\partial y}{\partial x_{22}}\end{array}\right]$，$d\mathbf{X}=\left[\begin{array}{c}d{x}_{11},d{x}_{12}\\ d{x}_{21},d{x}_{22}\end{array}\right]$。根据标量对矩阵微分的定义有：
$$dy=\sum _{i=1}^2\sum _{j=1}^2\frac{\partial y}{\partial x_{ij}}=tr(\left[\begin{array}{c}\frac{\partial y}{\partial x_{11}}d{x}_{11}+\frac{\partial y}{\partial x_{21}}d{x}_{21},0\\ 0,\frac{\partial y}{\partial x_{12}}d{x}_{12}+\frac{\partial y}{\partial x_{22}}d{x}_{22}\end{array}\right])=tr(\left[\begin{array}{c}\frac{\partial y}{\partial x_{11}},\frac{\partial y}{\partial x_{21}}\\ \frac{\partial y}{\partial x_{12}},\frac{\partial y}{\partial x_{22}}\end{array}\right]\left[\begin{array}{c}d{x}_{11},d{x}_{12}\\ d{x}_{21},d{x}_{22}\end{array}\right])$$

$$=tr({\left[\begin{array}{c}\frac{\partial y}{\partial x_{11}},\frac{\partial y}{\partial x_{12}}\\ \frac{\partial y}{\partial x_{21}},\frac{\partial y}{\partial x_{22}}\end{array}\right]}^T\left[\begin{array}{c}d{x}_{11},d{x}_{12}\\ d{x}_{21},d{x}_{22}\end{array}\right])=tr\left((\frac{\partial y}{\partial \mathbf{X}}{)}^{T}d\mathbf{X}\right)$$

因此我们推广到$m\times n$维矩阵，则有:
$$dy=tr\left((\frac{\partial y}{\partial \mathbf{X}}{)}^{T}d\mathbf{X}\right)\text{\hspace{1em}(17)}$$
      从这里我们可以看出，标量的全微分和它对矩阵的导数也有一个转置的关系，不过在外面套了一个迹函数而已。又因为标量的迹就是它本身，那么公式（16）和（17）可以统一表示成（18）和（19）的形式。我们只需要记忆公式（18）和（19）即可 。这样我们就建立了全微分、偏导和迹函数之间的关系。其数学推导可以查阅参考资料[2]第154页，但此处的书写形式（采用的布局）与资料[2]不一样。
$$dy=tr\left((\frac{\partial y}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}\right)\text{\hspace{1em}(18)}$$

$$dy=tr\left((\frac{\partial y}{\partial \mathbf{X}}{)}^{T}d\mathbf{X}\right)\text{\hspace{1em}(19)}$$

运算法则

      如公式（18）和（19）所示，我们已经建立起了全微分和偏导之间的联系，然而在计算中还需要一定的运算法则，才能计算复杂的式子。这里不加证明的给出矩阵微分的性质和迹技巧，具体证明详见参考资料[2]、[7]或其他资料。

矩阵微分的性质

1. 常数矩阵的微分:$d\mathbf{A}=0$。
2. 常数$\alpha$与矩阵$\mathbf{X}$的乘积的微分：$d(\alpha \mathbf{X})=\alpha d\mathbf{X}$。
3. 矩阵和差的微分：$d(\mathbf{X}\pm \mathbf{Y})=d\mathbf{X}\pm d\mathbf{Y}$。
4. 线性性质：$d(\alpha \mathbf{X}\pm \beta \mathbf{Y})=\alpha d\mathbf{X}\pm \beta d\mathbf{Y}$。
5. 转置：$d({\mathbf{X}}^T)=(d\mathbf{X}{)}^T$。
6. 常数矩阵与矩阵乘积的微分：$d(\mathbf{A}\mathbf{X}\mathbf{B})=A(d\mathbf{X})B$。
7. 矩阵乘法：$d(\mathbf{X}\mathbf{Y})=(d\mathbf{X})\mathbf{Y}+\mathbf{X}(d\mathbf{Y})$。
8. 矩阵的迹的微分：$d(tr(\mathbf{X}))=tr(d\mathbf{X})$。
9. 行列式的微分：$d|\mathbf{X}|=|\mathbf{X}|tr({\mathbf{X}}^{-1}d\mathbf{X})$。
10. Kronecker积的微分：$d(\mathbf{X}\otimes \mathbf{Y})=(d\mathbf{X})\otimes \mathbf{Y}+\mathbf{X}\otimes \mathbf{d}Y$。
11. Hadamard积的微分：$d(\mathbf{X}\ast \mathbf{Y})=(d\mathbf{X})\ast \mathbf{Y}+\mathbf{X}\ast \mathbf{d}Y$。
12. 逆矩阵的微分：$d{\mathbf{X}}^{-1}=-{\mathbf{X}}^{-1}(d\mathbf{X}){\mathbf{X}}^{-1}$。
13. 矩阵函数的微分：$d\mathbf{F}(\mathbf{X})=\mathbf{F}\prime (\mathbf{X})d\mathbf{X}$。
14. 矩阵对数的微分：$dlog\mathbf{X}={\mathbf{X}}^{-1}d\mathbf{X}$。
15. 矩阵函数的对数的微分：$dlog(\mathbf{F}(\mathbf{X}))={\mathbf{F}}^{-1}(\mathbf{X})d(\mathbf{F}(\mathbf{X}))$。
16. 向量化的矩阵的微分：$d(vec(\mathbf{X}))=vec(d\mathbf{X})$。

迹技巧

      迹技巧就是迹运算的性质。这里仅给出矩阵微分中常用的迹技巧，主要参考资料[2]的第54、55页和资料[7]。

1. 标量的迹：$tr(x)=x$。
2. 线性性质：$tr(\mathbf{X}\pm \mathbf{Y})=tr(\mathbf{X})\pm tr(\mathbf{Y})$，$tr(\alpha \cdot \mathbf{X})=\alpha \cdot tr(\mathbf{X})$。
3. 转置：$tr(\mathbf{X})=tr({\mathbf{X}}^T)$。
4. 矩阵乘积的迹：$tr(\mathbf{X}\mathbf{Y})=tr(\mathbf{Y}\mathbf{X})$，但要满足$\mathbf{X}$与${\mathbf{Y}}^T$同维度。
5. 矩阵乘法和迹交换：$tr((A\odot B{)}^{T}C)=tr(A^T(B\odot C))$，需要满足$A、B、C$同维度。

利用微分法求标量对向量和矩阵的导数

      有了公式（18）和（19）以及矩阵微分的性质和迹技巧，我们就可以方便的求解矩阵微分了，以至于求出标量对矩阵的偏导。向量和矩阵之间的导数在下一节中讲到。

例题中的步骤就是利用微分法求解矩阵导数的步骤。

例： 令$y(\mathbf{x})={\mathbf{x}}^T\mathbf{A}\mathbf{x}$，求$\frac{\partial y}{\partial \mathbf{x}}$。

解： 第一步，对$y$求微分，即：
$$dy=d({\mathbf{x}}^T\mathbf{A}\mathbf{x})=d{\mathbf{x}}^T\mathbf{A}\mathbf{x}+{\mathbf{x}}^T\mathbf{A}d\mathbf{x}$$
        第二步，使用迹技巧，即：
$$\begin{gathered} dy=d(tr(y))=tr(dy)=tr(d{\mathbf{x}}^T\mathbf{A}\mathbf{x}+{\mathbf{x}}^T\mathbf{A}d\mathbf{x}) \\ =tr\left([d{\mathbf{x}}^T\mathbf{A}\mathbf{x}{]}^T+{\mathbf{x}}^T\mathbf{A}d\mathbf{x}\right) \\ =tr({\mathbf{x}}^T{\mathbf{A}}^{T}d\mathbf{x}+{\mathbf{x}}^T\mathbf{A}d\mathbf{x}) \\ =tr\left({\mathbf{x}}^T(\mathbf{A}+{\mathbf{A}}^T)d\mathbf{x}\right) \end{gathered}$$
        第三步，使用公式（18），即：
$$\frac{\partial y}{\partial \mathbf{x}}={\left({\mathbf{x}}^T(\mathbf{A}+{\mathbf{A}}^T)\right)}^T=({\mathbf{A}}^T+\mathbf{A})\mathbf{x}$$
在实际中我们可以将第一步和第二步进行合并。此外，将$\mathbf{x}$换成$\mathbf{X}$即可得到$\frac{\partial y}{\partial \mathbf{X}}$。

利用微分法求矩阵和矩阵的导数

      在矩阵之间的导数中，常采用的是先将矩阵向量化，然后使用向量对向量的求导。这里的向量化我们采用列向量化，与参考资料[2]相同。

      令$vec(\mathbf{X})=[x_{11},\cdots ,x_{m1},x_{12},\cdots ,x_{m2},\cdots ,x_{1n},\cdots ,x_{mn}]$^T，则矩阵$F$对矩阵$X$的导数为：
$$\frac{\partial \mathbf{F}}{\partial \mathbf{X}}=\frac{\partial vec(\mathbf{F})}{\partial vec(\mathbf{X})}$$
      那么全微分矩阵的向量化函数$d(vec(\mathbf{F}(\mathbf{X})))$具有以下的表达式：
$$d(vec(\mathbf{F}(\mathbf{X})))={\left(\frac{\partial vec(\mathbf{F})}{\partial vec(\mathbf{X})}\right)}^{T}vec(d\mathbf{X})\text{\hspace{1em}(20)}$$
公式（20）是我们需要记住的公式。

      和之前标量对矩阵的微分法相比，这里的迹函数被矩阵向量化代替了[3]。矩阵对矩阵求导的微分法，也有一些法则可以直接使用。主要集中在矩阵向量化后的运算法则，以及向量化和Kronecker积之间的关系[2,3]。这里只给出微分法会用到的常见转化性质, 详细证明可以参考张贤达的书。

常用的矩阵向量化运算法则：

1. 线性性质：$vec(A+B)=vec(A)+vec(B)$。
2. 矩阵乘法：$vec(AXB)=(B^T\otimes A)vec(X)$，其中$\otimes$是克洛克内积。
3. 矩阵转置：$vec(A^T)=K_{mn}vec(A)$，其中$A$是$m\times n$的矩阵，$K_{mn}$是$mn\times mn$的交换矩阵，用于将按列优先的向量化变为按行优先的向量化。
4. 逐元素乘法：$vec(A\odot X)=diag(A)vec(X)$, 其中$diag(A)$是$mn\times mn$的对角矩阵，对角线上的元素是矩阵$A$按列向量化后排列出来的。

Kronecker积的主要运算法则有：

1. $ (A⨂B)^T=AT⨂B^T$
2. $vec(a{b}^T)=b⨂a$
3. $(A⨂B)(C⨂D)=AC⨂BD$
4. $K_{mn}=K_{nm}^T$，$K_{mn}{K}_{nm}=I$
5. $K_{pm}(A\otimes B)K_{nq}=B\otimes A$，其中$A$是$m\times n$，$B$是$p\times q$矩阵

例题：$F=AXB$，求$\frac{\partial F}{\partial \mathbf{X}}$。

解： 详细步骤如同<利用微分法求标量对向量和矩阵的导数>小节那样，这里直接一步到位写出计算式，即：
$$d\left((vec(F)\right)=d\left(vec(AXB)\right)=vec(AdXB)=(B^T\otimes A)vec(dX)$$
对比公式(20)，我们得到：
$$\frac{\partial F}{\partial \mathbf{X}}=(B^T\otimes A{)}^T=B\otimes A^T$$

参考资料

1. https://en.wikipedia.org/wiki/Matrix_calculus#Layout_conventions
2. 张贤达.矩阵分析与应用.第2版
3. https://www.cnblogs.com/pinard/
4. https://myslide.cn/slides/17809
5. https://zhuanlan.zhihu.com/p/24709748
6. https://zhuanlan.zhihu.com/p/24863977
7. https://zh.wikipedia.org/wiki/%E8%B7%A1