常用矩阵求导公式推导

引论

矩阵求导的方法一直以来都很让我困惑，最近看了一些博客参考，得到了一些理解。
接下来尝试从最基础的地方开始讲，
在中学的时候，我们最常见到的函数是一元函数，类似这种：
$$\begin{gathered} f_1(x)=x \\ {f}_2(x)=a{x}^2+b \end{gathered}$$
它们的求导很简单：
$$\begin{gathered} \frac{\text{d}{f}_1(x)}{\text{d}x}=1 \\ \frac{\text{d}{f}_2(x)}{\text{d}x}=2ax \end{gathered}$$

但是学习了线性代数之后，我们可以用线性代数的方式表述上面的两个公式：
$$f_1(x)=\left[\begin{array}{c}x\end{array}\right]=Ax=\left[\begin{array}{c}1\end{array}\right]x$$
$$f_2(x)=\left[\begin{array}{c}a{x}^2+b\end{array}\right]=x^{T}Ax+b=x^T\left[\begin{array}{c}a\end{array}\right]x+\left[\begin{array}{c}b\end{array}\right]$$
那么问题来了，对这种表述方式如何进行求导呢？

矩阵求导

在学习线性代数的时候，我们知道$x$和$f(x)$可能有如下这几种形式的数据类型：

$x$ = 标量、向量和矩阵
$f(x)$ = 标量、向量和矩阵

文章最开头的两个函数是$x$和$f(x)$都是为标量，它们的求导可以应用中学的求导法则；
但是如果$x$和$f(x)$是向量或者矩阵的时候，该如何对$f(x)$进行求导，很明显中学的求导法则，不太适用在线性代数中的向量或者矩阵求导。
通过网上查资料我们可以得到一些常见的矩阵求导公式：
$$\begin{gathered} \frac{\partial \mathbf{A}\mathbf{x}}{\partial \mathbf{x}}={\mathbf{A}}^{\mathbf{T}} \\ \frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\mathbf{T}})\mathbf{x} \\ \frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{x} \end{gathered}$$
它们求导的本质规律其实很简单：

假设有一个变量y，y可以是标量，向量和矩阵；有一个变量x，x可以是标量，向量和矩阵。那么y对x进行求导，它的规则是矩阵y中的每一个元素对矩阵x中的每一个元素进行求导。

为了说明这个规律，我们用矩阵求导种的常见类型进行举例说明：

类型	标量	向量	矩阵
标量	$\frac{\partial y}{\partial x}$	$\frac{\partial \mathbf{y}}{\partial x}$	$\frac{\partial \mathbf{Y}}{\partial x}$
向量	$\frac{\partial y}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$
矩阵	$\frac{\partial y}{\partial \mathbf{X}}$

$y$是标量，$x$是标量

• 求导时候的分子$y$和分母$x$都是标量，根据求导规律矩阵$x$中的每一个元素对矩阵$y$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$1\times 1$。

文章开头的两个例子属于这种情况：
第一个例子：
$$f_1(x)=\left[\begin{array}{c}x\end{array}\right]$$
$f_1(x)$是一个标量，它的矩阵形式中只有一个元素$x$, $f_1(x)$对标量$x$进行求导:
$$\frac{\partial f_1(x)}{\partial x}=\left[\begin{array}{c}\frac{\partial x}{\partial x}\end{array}\right]=\left[\begin{array}{c}1\end{array}\right]$$

第二个例子：
$$f_2(x)=\left[\begin{array}{c}a{x}^2+b\end{array}\right]$$
$f_2(x)$是一个标量，它的矩阵形式中只有一个元素$a{x}^2+b$, $f_2(x)$对标量$x$进行求导:
$$\frac{\partial f_2(x)}{\partial x}=\left[\begin{array}{c}\frac{\partial (a{x}^2+b)}{\partial x}\end{array}\right]=\left[\begin{array}{c}2ax+b\end{array}\right]$$

$\mathbf{y}和\mathbf{x}$有任意一个不是标量

如果$\mathbf{y}和\mathbf{x}$ 不是标量，在求导的时候有两种方式去求导，分别是分子布局和分母布局

求导布局

设定向量 $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$ , $\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$ 和矩阵$\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right]$

• 分子布局

  • 分子是标量，分母是向量。分子$y$是标量，分母$\mathbf{x}$是向量，根据求导规律矩阵$\mathbf{x}$中的每一个元素对矩阵$y$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$1\times n$。
    $$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& ⋮& \frac{\partial y}{\partial x_n}\end{array}\right]$$

  • 分子是向量， 分母是标量。分子$\mathbf{y}$是向量，分母$x$是标量，根据求导规律矩阵$x$中的每一个元素对矩阵$\mathbf{y}$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$m\times 1$。
    $$\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ \dots \\ \frac{\partial y_m}{\partial x}\end{array}\right]$$

  • 分子是向量，分母是向量。分子$\mathbf{y}$是向量，分母$\mathbf{x}$是向量，根据求导规律矩阵$\mathbf{x}$中的每一个元素对矩阵$\mathbf{y}$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$m\times n$。
    $$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \dots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \dots & \frac{\partial y_2}{\partial x_n}\\ \dots & \dots & \dots & \dots \\ \frac{\partial y_m}{\partial x_n}& \frac{\partial y_m}{\partial x_n}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$

  • 分子是标量，分母是矩阵。分子$\mathbf{y}$是向量，分母$\mathbf{X}$是矩阵，根据求导规律矩阵$\mathbf{X}$中的每一个元素对矩阵$\mathbf{y}$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$1\times m\times n$。
    $$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{12}}& \dots & \frac{\partial y}{\partial x_{1m}}\\ \frac{\partial y}{\partial x_{21}}& \frac{\partial y}{\partial x_{22}}& \dots & \frac{\partial y}{\partial x_{2m}}\\ \dots & \dots & \dots & \dots \\ \frac{\partial y}{\partial x_{n1}}& \frac{\partial y}{\partial x_{n2}}& \dots & \frac{\partial y}{\partial x_{nm}}\end{array}\right]$$

• 分母布局
  • 分子是标量，分母是向量。分子$y$是标量，分母$\mathbf{x}$是向量，根据求导规律矩阵$\mathbf{x}$中的每一个元素对矩阵$y$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$1\times n$。
    $$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ⋮\\ \frac{\partial y}{\partial x_n}\end{array}\right]$$
  • 分子是向量， 分母是标量。分子$\mathbf{y}$是向量，分母$x$是标量，根据求导规律矩阵$x$中的每一个元素对矩阵$\mathbf{y}$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$m\times 1$。
    $$\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x}& \frac{\partial y_2}{\partial x}& \dots & \frac{\partial y_m}{\partial x}\end{array}\right]$$
  • 分子是向量，分母是向量。分子$\mathbf{y}$是向量，分母$\mathbf{x}$是向量，根据求导规律矩阵$\mathbf{x}$中的每一个元素对矩阵$\mathbf{y}$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$m\times n$。
    $$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \dots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \dots & \frac{\partial y_m}{\partial x_2}\\ \dots & \dots & \dots & \dots \\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \dots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
  • 分子是标量，分母是矩阵。分子$\mathbf{y}$是向量，分母$\mathbf{X}$是矩阵，根据求导规律矩阵$\mathbf{X}$中的每一个元素对矩阵$\mathbf{y}$中的每一个元素进行求导可以得出最后的结果矩阵中的元素个数应该为$1\times m\times n$。
    $$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{12}}& \dots & \frac{\partial y}{\partial x_{1n}}\\ \frac{\partial y}{\partial x_{21}}& \frac{\partial y}{\partial x_{22}}& \dots & \frac{\partial y}{\partial x_{2n}}\\ \dots & \dots & \dots & \dots \\ \frac{\partial y}{\partial x_{m1}}& \frac{\partial y}{\partial x_{m2}}& \dots & \frac{\partial y}{\partial x_{mn}}\end{array}\right]$$

分子布局和分母布局的关系

通过观测可以发现，分子布局求导结果的装置就是分母布局求导的结果

常见矩阵求导推导

这部分主要想对常用的矩阵求导公式应用分母布局进行推导：

1. $\frac{\partial \mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=A^T$ 推导
   这里的$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{m1}& a_{m2}& \dots & a_{mn}\end{array}\right]$ 和$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$
   $$\mathbf{A}\mathbf{x}={\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ \dots \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}\right]}_{m\times 1}$$
   可以看出$\mathbf{A}\mathbf{x}$是一个向量，这里应用分母布局的分母是向量，分子是向量的求导展开，可以得到：
   $$\begin{gathered} \frac{\partial \mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n}{x_1}& \frac{a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n}{x_1}& \dots & \frac{a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n}{x_1}\\ \frac{a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n}{x_2}& \frac{a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n}{x_2}& \dots & \frac{a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n}{x_2}\\ \dots & \dots & \dots & \dots \\ \frac{a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n}{x_n}& \frac{a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n}{x_n}& \dots & \frac{a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n}{x_n}\end{array}\right] \\ =\left[\begin{array}{cccc}{a}_{11}& a_{21}& \dots & a_{m1}\\ a_{12}& a_{22}& \dots & a_{m2}\\ a_{1n}& a_{2n}& \dots & a_{mn}\end{array}\right]=A^T \end{gathered}$$

2. $\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=(\mathbf{A}+{\mathbf{A}}^{\mathbf{T}})\mathbf{x}$ 推导
   同样，这里的$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right]$ 和$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$
   从右向左计算${\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}$
   $$\mathbf{A}\mathbf{x}={\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ \dots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n\end{array}\right]}_{n\times 1}$$
   $$\begin{gathered} {\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}={\left[\begin{array}{cccc}{x}_1& x_2& \dots & x_n\end{array}\right]}_{1\times n}{\left[\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_1{x}_n\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n\\ \dots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n\end{array}\right]}_{n\times 1} \\ ={\left[\begin{array}{c}(a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n)+(a_{21}{x}_1{x}_2+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n)+\cdots +(a_{n1}{x}_1{x}_n+a_{n2}{x}_2{x}_n+\cdots +a_{nn}{x}_n^2)\end{array}\right]}_{1\times 1} \end{gathered}$$
   可以看出${\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}$是一个标量，这里应用分母布局的分母是向量，分子是标量的求导展开，可以得到：
   $$\begin{gathered} \frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial [a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n)+(a_{21}{x}_1{x}_2+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n)+\cdots +(a_{n1}{x}_1{x}_n+a_{n2}{x}_2{x}_n+\cdots +a_{nn}{x}_n^2)]}{\partial x_1}\\ \frac{\partial [(a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n)+(a_{21}{x}_1{x}_2+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n)+\cdots +(a_{n1}{x}_1{x}_n+a_{n2}{x}_2{x}_n+\cdots +a_{nn}{x}_n^2)]}{\partial x_2}\\ \dots \\ \frac{\partial [(a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n)+(a_{21}{x}_1{x}_2+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n)+\cdots +(a_{n1}{x}_1{x}_n+a_{n2}{x}_2{x}_n+\cdots +a_{nn}{x}_n^2)]}{\partial x_n}\end{array}\right] \\ =\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right]+\left[\begin{array}{cccc}{a}_{11}& a_{21}& \dots & a_{n1}\\ a_{12}& a_{22}& \dots & a_{n2}\\ \dots & \dots & \dots & \dots \\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right]=(\mathbf{A}+{\mathbf{A}}^{\mathbf{T}})\mathbf{x} \end{gathered}$$

3. $\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{x}$ 推导
   同样，这里的$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$
   那么:
   $${\mathbf{x}}^{\mathbf{T}}\mathbf{x}={\left[\begin{array}{cccc}{x}_1& x_2& \dots & x_n\end{array}\right]}_{1\times n}{\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]}_{n\times 1}={\left[\begin{array}{c}{x}_1{x}_1+x_2{x}_2+\cdots +x_n{x}_n\end{array}\right]}_{1\times 1}$$
   可以看出${\mathbf{x}}^{\mathbf{T}}\mathbf{x}$是一个标量，这里应用分母布局的分母是向量，分子是标量的求导展开，可以得到：
   $$\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{x}}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{x_1{x}_1+x_2{x}_2+\cdots +x_n{x}_n}{\partial x_1}\\ \frac{x_1{x}_1+x_2{x}_2+\cdots +x_n{x}_n}{\partial x_2}\\ ⋮\\ \frac{x_1{x}_1+x_2{x}_2+\cdots +x_n{x}_n}{\partial x_n}\end{array}\right]=\left[\begin{array}{c}2x_1\\ 2x_2\\ ⋮\\ 2x_n\end{array}\right]=2\mathbf{x}$$