标量、向量与矩阵的求导

符号定义

	分子	标量	向量	矩阵
分母		$y$	$\mathbf{y}$	$\mathbf{Y}$
标量	$x$	普通求导	向量对标量求导	矩阵对标量求导
向量	$\mathbf{x}$	标量对向量求导	向量对向量求导	-
矩阵	$\mathbf{X}$	标量对矩阵求导	-	-

注：默认向量用列向量表示

两种布局方式，一种叫做分子布局（numerator layout），另一种叫做分母布局（denominator layout）
所谓XX布局，即是指在做求导运算的时候，最终的求导结果的分布和XX部分保持一致，如果需要转置，则对YY部分进行转置。

1. 如果分子布局，且分子有m行，则求导结果也是m行，如果分母有n行，则结果将包含n列。
2. 如果分母布局，且分母有n行，则求导结果也是n行，如果分子有m行，则求导结果将有m列；

1、向量对标量求导

默认使用分子布局

$$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_m\end{array}\right],\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \\ \frac{\partial y_2}{\partial x}\\ \\ ⋮\\ \\ \frac{\partial y_m}{\partial x}\end{array}\right]$$

分母布局

2、矩阵对标量求导

默认使用分子布局

对于矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$, 求导结果仍然是$m\times n$，具体如下所示

分母布局

求导结果 是$n\times m$，即为转置

3、标量对向量求导

默认使用分母布局

在求导过程中，求导结果按列展开，逐个进行求导运算，结果保持列向量形式。
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right],\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \\ \frac{\partial y}{\partial x_2}\\ \\ ⋮\\ \\ \frac{\partial y}{\partial x_n}\end{array}\right]$$

分子布局

转置即可

4、**向量对向量求导

分母布局即梯度矩阵**

先按分母行数n拆成行n，再按分子行数m拆成列m
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial \mathbf{y}}{\partial x_1}\\ \\ \frac{\partial \mathbf{y}}{\partial x_2}\\ \\ ⋮\\ \\ \frac{\partial \mathbf{y}}{\partial x_n}\end{array}\right]$$

数学上将这种矩阵称之为梯度矩阵，有些资料会用符号 $\frac{\partial {\mathbf{y}}^{\mathsf{T}}}{\partial \mathbf{x}}$进行表示。

分子布局即雅克比 (Jacobian)矩阵**

先按分子行数m拆成行m，再按分母行数n拆成列n
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial y_1}{\partial \mathbf{x}}\\ \\ \frac{\partial y_2}{\partial \mathbf{x}}\\ \\ ⋮\\ \\ \frac{\partial y_m}{\partial \mathbf{x}}\end{array}\right]$$

数学上将这种矩阵称之为雅克比 (Jacobian)矩阵，常用符号$\frac{\partial \mathbf{y}}{\partial {\mathbf{x}}^{\mathsf{T}}}$ 进行表示。

5、标量对矩阵求导

默认使用分母布局

因为矩阵处于分母位置，结果与分母的矩阵大小保持一致。

例如对于矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$, 求导结果为 $m\times n$

分子布局

转置即可

重要公式

向量、矩阵求导的重要公式https://blog.csdn.net/weixin_42764932/article/details/113107962