矩阵求导

1. 摘要

​ $\frac{\partial Y}{\partial X}$即$Y$中的每个元素对$X$中的每个元素求导，最终有$|Y|\ast |X|$个元素，我们需要确定的是这些元素的布局。一般常用的布局有分子布局和分母布局。其中两者互为转置。

​ 分母布局可以概括为$\{\begin{array}{l}1.标量不变，向量拉伸\\ 2.前面横向拉，后面纵向拉\end{array}$ ，分子布局可以概括为$\{\begin{array}{l}1.标量不变，向量拉伸\\ 2.前面纵向拉，后面横向拉\end{array}$

	Y	标量$y$		列向量$y_{m\times 1}$		矩阵$Y_{m\times n}$
$X\text{X}X$	布局方式	符号	形状	符号	形状	符号	形状
标量$x$	分子布局	$\frac{\partial y}{\partial x}$	$1\times 1$	$\frac{\partial y\text{y}y}{\partial x}$	$1\times m$	$\frac{\partial Y}{\partial x}$	$m\times n$
标量$x$	分母布局	$\frac{\partial y}{\partial x}$	$1\times 1$	$\frac{\partial y\text{y}y}{\partial x}$	$ m \times 1$	$\frac{\partial Y}{\partial x}$
列向量**$x_{n\times 1}$**	分子布局	$\frac{\partial y}{\partial x\text{x}x}$	$1\times n$	$\frac{\partial y\text{y}y}{\partial x\text{x}x}$	$ m \times n$	$\frac{\partial Y}{\partial x\text{x}x}$
列向量**$x_{n\times 1}$**	分母布局	$\frac{\partial y}{\partial x\text{x}x}$	$ n \times 1$	$\frac{\partial y\text{y}y}{\partial x\text{x}x}$	$n\times m$	$\frac{\partial Y}{\partial x\text{x}x}$
矩阵$X_{p\times q}$	分子布局	$\frac{\partial y}{\partial X}$	$q\times p$	$\frac{\partial y\text{y}y}{\partial X}$		$\frac{\partial Y}{\partial X}$
矩阵$X_{p\times q}$	分子分母布局	$\frac{\partial y}{\partial X}$	$p\times q$	$\frac{\partial y\text{y}y}{\partial X}$		$\frac{\partial Y}{\partial X}$

2. 布局

2.1 分子布局

下面两个只有分子布局有：

2.2 分母布局

3. 运算法则

在分子布局和分母布局表示法之间切换时，运算结果将被转置。（$\frac{\partial Y}{\partial x}$是分子布局独有的）

下面是最重要的三条法则：链式求导法则，乘积法则和求和法则，在不同场景（标量对向量求导，向量对标量求导，向量对向量求导，矩阵对标量求导，标量对矩阵求导）中是否适用。

1. 求和法则普遍适用
2. 乘积法则在以下大多数情况下适用，只要矩阵乘积的维度能够保持，因为矩阵乘法是不一定满足交换率的。
3. 链式求导法则在某些情况下适用，但不幸的是，不适用于矩阵对标量求导和标量对矩阵求导。

• a，b，c，d和e表示标量，标量u和v是x，x或X之一的函数；
• a，b，c，d和e表示向量，向量u和v是x，x或X之一的函数；
• A，B，C，D和E表示矩阵，矩阵U和V是x，x或X之一的函数。

3.1 向量对向量求导

3.2 标量对向量求导

3.3 矩阵对标量求导

NOTE: The formulas involving the vector-by-vector derivatives$\frac{\partial \mathbf{g}(\mathbf{u})}{\partial \mathbf{u}}和\frac{\partial \mathbf{f}(\mathbf{g})}{\partial \mathbf{g}}$ (whose outputs are matrices) assume the matrices are laid out consistent with the vector layout, i.e. numerator-layout matrix when numerator-layout vector and vice versa; otherwise, transpose the vector-by-vector derivatives.

3.4 标量对矩阵求导

https://en.wikipedia.org/wiki/Matrix_calculus#

3.5 矩阵对标量求导

https://en.wikipedia.org/wiki/Matrix_calculus#