矩阵、向量、标量求导

矩阵求导

矩阵对标量的求导

矩阵对标量的求导可以通过矩阵的每个元素对标量的偏导数构成的矩阵来表示。这个过程被称为矩阵的分量求导（component-wise differentiation）。

假设有一个矩阵 $A$，它是一个 $m\times n$的矩阵，每个元素$a_{ij}$是关于标量变量$x$ 的函数。那么，矩阵$A$ 对标量$x$ 的求导（记为 $\frac{dA}{dx}$)可以表示为一个与 $A$ 同型的矩阵，其每个元素是 $a_{ij}$对$x$的偏导数。

数学表达式为：

如果$A=[a_{ij}]$，其中 $a_{ij}$是关于$x$的函数，那么$\frac{dA}{dx}=[\frac{\partial a_{ij}}{\partial x}]$。

换句话说，矩阵对标量的求导就是对矩阵中的每个元素分别求关于标量的偏导数，结果构成一个同型的矩阵。

举个例子，如果有矩阵 $A=\left[\begin{array}{cc}{x}^2& 2x\\ 3x& \sin (x)\end{array}\right]$，那么对$x$的求导就是：

$$\frac{dA}{dx}=\left[\begin{array}{cc}\frac{d(x^2)}{dx}& \frac{d(2x)}{dx}\\ \frac{d(3x)}{dx}& \frac{d(\sin (x))}{dx}\end{array}\right]=\left[\begin{array}{cc}2x& 2\\ 3& \cos (x)\end{array}\right]$$

这种方式适用于矩阵中的每个元素都是关于同一个标量变量的函数的情况。

矩阵对向量的求导

当矩阵对向量求导时，我们在矩阵的每个元素与向量中的每个元素之间都进行求导，结果是一个三维数组，也称为张量。

假设有一个矩阵$A$，它是一个 $m\times n$的矩阵，每个元素 $a_{ij}$ 是关于向量$x$的函数。那么，矩阵$A$对向量$x$的求导（记为 $\frac{dA}{dx}$）是一个由若干 $m\times n$的矩阵组成的三维数组。

数学表达式为：

如果$A=[a_{ij}]$，其中$a_{ij}$ 是关于$x$的函数，那么$\frac{dA}{dx}$是一个三维数组，其每个元素是一个$m\times n$ 的矩阵，表示矩阵$A$的每个元素对向量$x$的偏导数矩阵。

具体地说，对于矩阵$A$中的每个元素$a_{ij}$，我们分别对向量$x$中的每个分量进行偏导数求导。

举个例子，如果有矩阵 $A=\left[\begin{array}{cc}{x}_1^2& 2x_2\\ 3x_1& \sin (x_2)\end{array}\right]$，其中 $x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$，那么对 $x$的求导就是：

$$\frac{dA}{dx}=\left[\begin{array}{cc}\frac{d(x_1^2)}{d{x}_1}& \frac{d(2x_2)}{d{x}_1}\\ \frac{d(3x_1)}{d{x}_1}& \frac{d(\sin (x_2))}{d{x}_1}\end{array}\right]=\left[\begin{array}{cc}2x_1& 0\\ 3& 0\end{array}\right],\left[\begin{array}{cc}\frac{d(x_1^2)}{d{x}_2}& \frac{d(2x_2)}{d{x}_2}\\ \frac{d(3x_1)}{d{x}_2}& \frac{d(\sin (x_2))}{d{x}_2}\end{array}\right]=\left[\begin{array}{cc}0& 2\\ 0& \cos (x_2)\end{array}\right]$$
这样的结果会构成一个三维数组，每个矩阵是矩阵$A$ 中相应元素对向量 $x$ 的偏导数矩阵。

矩阵对矩阵求导

矩阵对矩阵的求导涉及到两个矩阵，对其中一个矩阵中的每个元素对另一个矩阵中的每个元素进行求导，结果是一个四维数组。

假设有一个矩阵$A$，它是一个$m\times n$的矩阵，每个元素$a_{ij}$是关于另一个矩阵$X$中元素的函数。那么，矩阵$A$对矩阵$X$的求导（记为 $\frac{dA}{dX}$）是一个由$m\times n$的矩阵组成的四维数组。

数学表达式为：

如果 $A=[a_{ij}]$，其中$a_{ij}$ 是关于$X$ 中元素的函数，那么$\frac{dA}{dX}$是一个四维数组，其每个元素是一个 $m\times n$ 的矩阵，表示矩阵$A$的每个元素对矩阵$X$的偏导数矩阵。

具体地说，对于矩阵$A$中的每个元素$a_{ij}$，我们分别对矩阵$X$中的每个元素进行偏导数求导。

举个例子，如果有矩阵$A=\left[\begin{array}{cc}{x}_1& x_2\\ x_3& x_4\end{array}\right]$，其中$X=\left[\begin{array}{cc}{x}_1& x_2\\ x_3& x_4\end{array}\right]$ 是一个 $2\times 2$的矩阵，那么对 $X$的求导就是：

$$\frac{dA}{dX}=\left[\begin{array}{cc}\frac{d(x_1)}{d{x}_1}& \frac{d(x_2)}{d{x}_1}\\ \frac{d(x_3)}{d{x}_1}& \frac{d(x_4)}{d{x}_1}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],\left[\begin{array}{cc}\frac{d(x_1)}{d{x}_2}& \frac{d(x_2)}{d{x}_2}\\ \frac{d(x_3)}{d{x}_2}& \frac{d(x_4)}{d{x}_2}\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right],\left[\begin{array}{cc}\frac{d(x_1)}{d{x}_3}& \frac{d(x_2)}{d{x}_3}\\ \frac{d(x_3)}{d{x}_3}& \frac{d(x_4)}{d{x}_3}\end{array}\right]=\left[\begin{array}{cc}0& 0\\ 1& 0\end{array}\right],\left[\begin{array}{cc}\frac{d(x_1)}{d{x}_4}& \frac{d(x_2)}{d{x}_4}\\ \frac{d(x_3)}{d{x}_4}& \frac{d(x_4)}{d{x}_4}\end{array}\right]=\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]$$

这样的结果会构成一个四维数组，每个矩阵是矩阵$A$中相应元素对矩阵 $X$的偏导数矩阵。

标量求导

标量对标量求导

标量对标量求导是求一个标量函数对另一个标量自变量的导数。

假设有一个标量函数 (f(x))，它是关于标量 (x) 的函数。那么，$f(x)$ 对 $x$ 的求导（记为 $\frac{df}{dx}$ 或者 $f^{\prime }(x)$）就是函数 (f(x)) 关于 (x) 的导数，表示函数在某点处的斜率或变化率。

数学表达式为：

如果 $f=f(x)$，其中 $f$ 是关于标量 $x$ 的函数，那么$\frac{df}{dx}$ 是 (f) 对 (x) 的导数，表示函数$f(x)$ 在某个点处的变化率。

举个例子，如果有一个标量函数 $f=x^2$，那么对 (x) 求导就是：

$$\frac{df}{dx}=\frac{d(x^2)}{dx}=2x$$

这样的结果是一个标量，表示函数 $f(x)$在某个点处的变化率，即斜率。

标量对向量求导

当一个标量函数对一个向量求导时，结果是一个向量，通常被称为梯度（gradient）。

假设有一个标量函数 (f)，它是关于一个 (n) 维向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n]$ 的函数，即$f=f(\mathbf{x})$。那么，标量 $f$ 对向量 $\mathbf{x}$ 的求导（记为 $\frac{df}{d\mathbf{x}}$ 或者 $\nabla f$）是一个 (n) 维列向量，表示函数 (f) 在每个变量$x_i$上的偏导数。

数学表达式为：

如果 $f=f(\mathbf{x})$，其中 (f) 是关于向量 $\mathbf{x}$的函数，那么$\frac{df}{d\mathbf{x}}$是一个 (n) 维列向量，其每个分量表示函数$f$对相应变量$x_i$ 的偏导数。

具体地说，对于函数$f$中的每个变量$x_i$，我们分别对其求偏导数。

举个例子，如果有一个标量函数 $f=x_1^2+2x_2$，其中 $\mathbf{x}=[x_1,x_2]$，那么对$\mathbf{x}$ 求导就是：

$$\frac{df}{d\mathbf{x}}=\left[\begin{array}{c}\frac{d(x_1^2+2x_2)}{d{x}_1}\\ \frac{d(x_1^2+2x_2)}{d{x}_2}\end{array}\right]=\left[\begin{array}{c}2x_1\\ 2\end{array}\right]$$

这样的结果是一个列向量，其中每个元素是函数$f$对相应变量的偏导数。

标量对矩阵求导

标量对矩阵的求导结果是一个矩阵。这种情况下，我们将标量函数对矩阵中的每个元素进行偏导数运算，最终得到的是一个与原始矩阵同型的矩阵，其中每个元素是函数对应元素的偏导数。

假设有一个标量函数 (f)，它是关于一个$m\times n$的矩阵 $X$ 中元素的函数，即 $f=f(X)$。那么，$f$对矩阵 $X$ 的求导（记为 $\frac{df}{dX}$）是一个与 $X$ 同型的矩阵，其每个元素是函数 $f$ 对 $X$ 中对应元素的偏导数。

数学表达式为：

如果 $f=f(X)$，其中 $f$ 是关于矩阵$X$中元素的函数，那么$\frac{df}{dX}$是一个与 (X) 同型的矩阵，其每个元素是函数 (f) 对 (X) 中对应元素的偏导数。

具体地说，对于函数$f$中的每个矩阵元素$x_{ij}$，我们分别对其进行偏导数运算。

举个例子，如果有一个标量函数 $f=\text{tr}(X^2)$，其中 (X) 是一个$2\times 2$ 的矩阵，那么对$X$求导就是：

$$\frac{df}{dX}=\frac{d(\text{tr}(X^2))}{dX}=\left[\begin{array}{cc}\frac{d(\text{tr}(X^2))}{d{x}_{11}}& \frac{d(\text{tr}(X^2))}{d{x}_{12}}\\ \frac{d(\text{tr}(X^2))}{d{x}_{21}}& \frac{d(\text{tr}(X^2))}{d{x}_{22}}\end{array}\right]$$

$f=\text{tr}({\mathbf{X}}^2)=\text{tr}(\mathbf{X}\cdot \mathbf{X})=x_{11}^2+x_{12}{x}_{21}+x_{21}{x}_{12}+x_{22}^2$

现在我们对$f$对 $\mathbf{X}$中每个元素求偏导数：

$\frac{df}{d{x}_{11}}=2x_{11},\frac{df}{d{x}_{12}}=x_{21},\frac{df}{d{x}_{21}}=x_{12},\frac{df}{d{x}_{22}}=2x_{22}$

所以，$f$ 对矩阵 $\mathbf{X}$ 的导数是一个与 $\mathbf{X}$ 同型的矩阵：

$\frac{df}{d\mathbf{X}}=\left[\begin{array}{cc}2x_{11}& x_{21}\\ x_{12}& 2x_{22}\end{array}\right]$

这样的结果是一个与矩阵 $X$ 同型的矩阵，其中每个元素表示函数 $f$对应矩阵 $X$中元素的偏导数。

向量求导

向量对标量求导

当一个向量对标量求导时，结果是一个向量。这种情况下，我们求向量中每个元素对标量自变量的偏导数。

假设有一个 (n) 维向量 $\mathbf{y}=[y_1,y_2,\dots ,y_n]$，它是关于标量$x$ 的函数，即 $\mathbf{y}=\mathbf{y}(x)$。那么，向量 $\mathbf{y}$对标量 (x) 的求导（记为 $\frac{d\mathbf{y}}{dx}$ 或者$\frac{d\mathbf{y}}{dx}=[\frac{d{y}_1}{dx},\frac{d{y}_2}{dx},\dots ,\frac{d{y}_n}{dx}]$）是一个 $n$ 维向量，其中每个分量表示向量 $\mathbf{y}$ 中相应元素对 $x$ 的偏导数。

数学表达式为：

如果 $\mathbf{y}=\mathbf{y}(x)$，其中 $\mathbf{y}$ 是关于标量 (x) 的向量函数，那么$\frac{d\mathbf{y}}{dx}$是一个 $n$维向量，其每个分量表示函数 $\mathbf{y}$ 中相应元素对 $x$ 的偏导数。

举个例子，如果有一个向量$\mathbf{y}=[x^2,2x,\sin (x)]$，那么对$x$ 求导就是：

$$\frac{d\mathbf{y}}{dx}=\left[\frac{d(x^2)}{dx},\frac{d(2x)}{dx},\frac{d(\sin (x))}{dx}\right]=[2x,2,\cos (x)]$$

这样的结果是一个向量，其中每个元素是函数 $\mathbf{y}$中相应元素对 (x) 的偏导数。

向量对向量求导

当一个向量对另一个向量求导时，结果是一个矩阵。这种情况下，我们对一个向量中的每个元素对另一个向量中的每个元素进行求导，最终得到一个矩阵，通常称为雅可比矩阵。

假设有一个 (m) 维向量 $\mathbf{y}=[y_1,y_2,\dots ,y_m]$，它是关于一个 (n) 维向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n]$ 的函数，即 $\mathbf{y}=\mathbf{y}(\mathbf{x})$。那么，向量 $\mathbf{y}$ 对向量$\mathbf{x}$ 的求导（记为 $\frac{d\mathbf{y}}{d\mathbf{x}}$ 或者 $J$）是一个 $m\times n$ 的矩阵，称为雅可比矩阵，其中每个元素 $J_{ij}$表示向量 $\mathbf{y}$ 中第 (i) 个元素对向量 $\mathbf{x}$ 中第 (j) 个元素的偏导数。

数学表达式为：

如果 $\mathbf{y}=\mathbf{y}(\mathbf{x})$，其中 $\mathbf{y}$ 是关于向量 $\mathbf{x}$ 的向量函数，那么$\frac{d\mathbf{y}}{d\mathbf{x}}$ 是一个 $m\times n$ 的矩阵，其每个元素 $J_{ij}$ 表示函数 $\mathbf{y}$ 中第 (i) 个元素对向量 $\mathbf{x}$ 中第 (j) 个元素的偏导数。

具体地说，对于函数 $\mathbf{y}$ 中的每个元素 $y_i$，我们分别对向量 $\mathbf{x}$中的每个元素$x_j$进行偏导数运算。

举个例子，如果有一个向量 $\mathbf{y}=[x_1^2+x_2,\sin (x_1),x_2{x}_3]$，其中 $\mathbf{x}=[x_1,x_2,x_3]$，那么对 $\mathbf{x}$ 求导就是：

$$\frac{d\mathbf{y}}{d\mathbf{x}}=\left[\begin{array}{ccc}\frac{d(x_1^2+x_2)}{d{x}_1}& \frac{d(x_1^2+x_2)}{d{x}_2}& \frac{d(x_1^2+x_2)}{d{x}_3}\\ \frac{d(\sin (x_1))}{d{x}_1}& \frac{d(\sin (x_1))}{d{x}_2}& \frac{d(\sin (x_1))}{d{x}_3}\\ \frac{d(x_2{x}_3)}{d{x}_1}& \frac{d(x_2{x}_3)}{d{x}_2}& \frac{d(x_2{x}_3)}{d{x}_3}\end{array}\right]=\left[\begin{array}{ccc}2x_1& 1& 0\\ \cos (x_1)& 0& 0\\ 0& x_3& x_2\end{array}\right]$$

这样的结果是一个矩阵，其中每个元素是函数 $\mathbf{y}$ 中相应元素对向量$\mathbf{x}$ 中元素的偏导数。

向量对矩阵求导

向量对矩阵求导是一个复杂的概念，通常涉及矩阵微分和张量的操作。这种情况下，我们考虑一个向量对矩阵中每个元素进行求导，结果通常是一个高维张量。

如果有一个$m$ 维向量 $\mathbf{y}=[y_1,y_2,\dots ,y_m]$，它是关于一个 $p\times q$ 的矩阵 $\mathbf{X}$中元素的函数，即 $\mathbf{y}=\mathbf{y}(\mathbf{X})$。向量 $\mathbf{y}$ 对矩阵$\mathbf{X}$ 的求导（记为$\frac{d\mathbf{y}}{d\mathbf{X}}$）结果是一个高维张量，表示向量$\mathbf{y}$ 中每个元素对矩阵 $\mathbf{X}$ 中每个元素的偏导数。

在这种情况下，求导涉及到矩阵微分和张量的操作，结果会是一个高维张量，需要进行复杂的计算。通常情况下，涉及到向量对矩阵的求导不是简单的元素级别的运算，而是需要用到更高级的数学工具和技巧。

让我们考虑一个向量 $\mathbf{y}=[y_1,y_2]$，它是关于一个 $2\times 2$的矩阵$\mathbf{X}$中元素的函数，即$\mathbf{y}=[x_{11}^2+x_{12},\sin (x_{21}+x_{22})]$。

现在要求向量$\mathbf{y}$ 对矩阵$\mathbf{X}$的求导 $\frac{d\mathbf{y}}{d\mathbf{X}}$。

首先，我们有向量$\mathbf{y}$：
$$\mathbf{y}=[x_{11}^2+x_{12},\sin (x_{21}+x_{22})]$$

对于第一个元素 $y_1=x_{11}^2+x_{12}$，我们对矩阵 $\mathbf{X}$ 中的每个元素进行求导：
$$\frac{\partial y_1}{\partial x_{ij}}=\left[\begin{array}{cc}\frac{\partial (x_{11}^2+x_{12})}{\partial x_{11}}& \frac{\partial (x_{11}^2+x_{12})}{\partial x_{12}}\\ \frac{\partial (x_{11}^2+x_{12})}{\partial x_{21}}& \frac{\partial (x_{11}^2+x_{12})}{\partial x_{22}}\end{array}\right]=\left[\begin{array}{cc}2x_{11}& 1\\ 0& 0\end{array}\right]$$

对于第二个元素 $y_2=\sin (x_{21}+x_{22})$，同样对矩阵 $\mathbf{X}$ 中的每个元素进行求导：
$$\frac{\partial y_2}{\partial x_{ij}}=\left[\begin{array}{cc}\frac{\partial \sin (x_{21}+x_{22})}{\partial x_{11}}& \frac{\partial \sin (x_{21}+x_{22})}{\partial x_{12}}\\ \frac{\partial \sin (x_{21}+x_{22})}{\partial x_{21}}& \frac{\partial \sin (x_{21}+x_{22})}{\partial x_{22}}\end{array}\right]=\left[\begin{array}{cc}0& 0\\ \cos (x_{21}+x_{22})& \cos (x_{21}+x_{22})\end{array}\right]$$
因此，整体的向量 $\mathbf{y}$对矩阵$\mathbf{X}$的导数为：
$$\frac{d\mathbf{y}}{d\mathbf{X}}=\left[\begin{array}{cc}2x_{11}& 1\\ 0& 0\end{array}\right],\left[\begin{array}{cc}0& 0\\ \cos (x_{21}+x_{22})& \cos (x_{21}+x_{22})\end{array}\right]$$

这样的结果是一个高维张量，其中每个元素是向量 $\mathbf{y}$ 中相应元素对矩阵 $\mathbf{X}$ 中元素的偏导数。

建议看b站视频，下面的都是视频内容，讲得挺好的

几个常见公式

$\nabla A^{T}x=A$
$\nabla x^{T}Ax=(A+A^T)x$
${\nabla }^2{x}^{T}Ax=A+A^T$