数、向量、矩阵的导数法则及矩阵基本知识

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  本文主要介绍了数、向量、矩阵的导数法则及矩阵基本知识，希望能对学习线性代数的同学们有所帮助。

1. 数的导数

1.1 导数运算法则

条件：$f(x),g(x)$都是可导的。
结论：

1. $[f(x)\pm g(x){]}^{{}^{\prime }}=f^{{}^{\prime }}(x)+g^{{}^{\prime }}(x)$
2. $[f(x)g(x){]}^{{}^{\prime }}=f^{{}^{\prime }}(x)g(x)+f(x)g^{{}^{\prime }}(x)$
3. $[\frac{f(x)}{g(x)}{]}^{{}^{\prime }}=\frac{f^{{}^{\prime }}(x)g(x)-f(x)g^{{}^{\prime }}(x)}{[g(x){]}^2}$
4. 常数的导数为0

1.2 复合函数求导

• 如果函数$\mu =\psi (x)$在点$x_0$处可导，而$y=f(\mu )$在点${\mu }_0=\psi (x_0)$可导，则复合函数$y=f[\psi (x)]$在点$x_0$可导，且其导数为：$$f^{{}^{\prime }}({\mu }_0)\cdot {\psi }^{{}^{\prime }}(x_0)$$
  即因变量对自变量求导，等于因变量对中间变量求导，乘以中间变量对自变量求导（链式法则）
• 扩展：设$y=f(\mu ),\mu =\psi (\nu ),\nu =\Psi (x)$，则复合函数 y = f { ψ [ Ψ ( x ) ] } y=f\left\{\psi[\Psi(x)]\right\} y=f{ψ[Ψ(x)]}的导数为：
  $$\frac{dy}{dx}=\frac{dy}{d\mu }\cdot \frac{d\mu }{d\nu }\cdot \frac{d\nu }{dx}$$
  上述被称为链式法则

1.3 反函数求导

函数$x=f(y)$在区间内单调、可导，且$f^{{}^{\prime }}(y)\ne 0$，则其反函数$y=f^{-1}(x)$在区间内也单调可导，且导数满足$\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$
举例：设x=siny，$y\in [-\frac{\pi }{2},\frac{\pi }{2}]$，则y=arcsinx为其反函数。求$\frac{dy}{dx}$
$(arcsinx{)}^{{}^{\prime }}=\frac{1}{(siny{)}^{{}^{\prime }}}=\frac{1}{cosy}$

1.4 隐函数求导

• 方法1：将隐函数化成显函数
• 方法2：有时候化成显函数是非常困难的，因此方法1不适用。如求$e^y+xy-e=0$的导数$\frac{dy}{dx}$。方程左右两边同时对x求导数（注意y=y(x)，对x求导为$y^{{}^{\prime }}$:$$e^y\cdot y^{{}^{\prime }}+y+x{y}^{{}^{\prime }}=0$$由此可以解得$y{}^{\prime }$
• 方法3：方程$F(x,y)=0,\frac{dy}{dx}=-\frac{F_x}{F_y}$

1.5 基本初等函数导数及总结

2. 矩阵基本知识

2.1 矩阵的字母表示

2.2 广义逆

之前学习的$A^{-1}$是逆的特殊形式，仅存在于可逆方阵中。接下来会讨论逆的两种形式，减号逆和加号逆。（本质上，加号逆和逆都是减号逆的一种特殊存在形式）

2.2.1 减号逆$A^{-}$

对于矩阵$A_{m\times n}$以及矩阵X。若满足AXA=A，则称X为A的减号逆，记做$X=A^{-}$。减号逆一定存在，但不一定唯一。
减号逆的性质：

1. 对于任意矩阵A，$A^{-}$总是存在的（存在性）
2. 当A为可逆方阵时，$A^{-}$唯一，且$A^{-}=A^{-1}$
3. $rk(A^{-})\ge rk(A)=rk(A^{-}A)=rk(A{A}^{-})$

2.2.2 加号逆$A^{+}$（伪逆）

一般来讲，减号逆有无穷多个，在这无穷多个减号逆中，有一个逆，同时满足以下四个条件：
$$AXA=A;XAX=X;(AX{)}^{{}^{\prime }}=AX;(XA{)}^{{}^{\prime }}=XA$$
X称为A的加号逆（也称为伪逆），记做$A^{+}$，加号逆一定存在，且唯一。
从上数描述中，可以得到，A的加号逆一般有无穷多个，但是当A为可逆矩阵时，减号逆只有一个，同时A的加号逆一定存在且唯一，故当A为可逆方阵时，A的逆，减号逆，加号逆是一样的。
加号逆的性质：

2.3 幂等矩阵

2.4 kronecker（克罗内克）乘积与向量化运算

2.4.1 kronecker定义

2.4.2 kronecker性质

推论：

2.4.3 向量化运算

向量化运算的性质

2.5 矩阵的微商

涉及对矩阵求导时，这里的矩阵指的是函数空间，或者矩阵函数，即矩阵（或者向量）中的每个元素都为函数$f(X)$，这里的X指的是向量$X(x_1,x_2,...,x_n)$，详细可参见线性空间。例如函数矩阵Y：
$$\left[\begin{array}{cc}{y}_{11}& y_{12}\\ y_{21}& y_{22}\end{array}\right]=\left[\begin{array}{cc}{x}_1+x_2& x_1^2+x_2^2\\ x_1^3+x_2^3& x_1^4+x_2^4\end{array}\right]$$
可以看到矩阵Y中的每个元素都是向量$X(x_1,x_2)$的函数。下面讲述中认为：当Y只有一个元素时，称为标量；当Y的元素只有一行或者一列时称为向量（行向量与列向量）；当有m行n列时才称为矩阵。
上述涉及标量、向量、矩阵，因此y对x求导的情况共有9种类型+1类：
标量y对标量x求导；
标量y对向量$\vec{x}$求导；
标量y对矩阵X求导；
向量$\vec{y}$对标量x求导；
向量$\vec{y}$对向量$\vec{x}$求导（y为行向量，x为列向量以及y为列向量，x为行向量。行行求导与列列求导也可以，但是不常用。因此下文仅介绍前两种，其他种类涉及向量的也常用列向量，但行向量理论也是可以的）；
向量$\vec{y}$对矩阵X求导；
矩阵Y对标量x求导；
矩阵Y对向量$\vec{x}$求导；
矩阵Y对矩阵X求导。

2.5.1 标量y对标量x求导

$y=f(x)\to \frac{dy}{dx}=\frac{df}{dx}$
例子：大学高等数学上涉及的全导数。
如$y=x^2$。此时标量y为$x^2$，x也是标量。导数为$\frac{dy}{dx}=\frac{d{x}^2}{dx}=2x$

2.5.2 标量y对向量$\vec{x}$求导

$$\frac{dy}{dX}=\left[\begin{array}{c}\frac{df}{x_1}\\ ...\\ \frac{df}{d{x}_m}\end{array}\right]$$
例子：
$$y=x_1^2+x_2^2$$
$$\frac{dy}{dX}=\left[\begin{array}{c}2x_1\\ 2x_2\end{array}\right]$$

2.5.3 标量y对矩阵X求导

$$\frac{dy}{dX}=\left[\begin{array}{ccc}\frac{df}{d{x}_{11}}& ...& \frac{df}{d{x}_{1n}}\\ ...& ...& ...\\ \frac{df}{d{x}_{m1}}& ...& \frac{df}{d{x}_{mn}}\end{array}\right]$$
例子：
$$y=x_1^2+x_2^2+x_3^2+x_4^2$$其中$$X=\left[\begin{array}{cc}{x}_1& x_2\\ x_3& x_4\end{array}\right]$$
只是举例时y的函数仍写成向量的形式，故看到这样的表达，需要指明X时向量还是矩阵。不写默认为向量。
$\frac{df}{dX}=\left[\begin{array}{cc}2x_1& 2x_2\\ 2x_3& 2x_4\end{array}\right]$
总结：从以上三种情况来看，其实都是标量y对X中每个随机变量求偏导，然后构成一个新的向量或者矩阵。

2.5.4 向量$\vec{y}$对标量x求导

$$\frac{d\vec{y}}{dx}=\left[\begin{array}{c}\frac{d{f}_1}{dx}\\ ...\\ \frac{d{f}_n}{dx}\end{array}\right]$$
例子：$$\vec{y}=\left[\begin{array}{c}x\\ x^2\\ x^3\end{array}\right]$$
$\frac{d\vec{y}}{dx}=\left[\begin{array}{c}1\\ 2x\\ 3x^2\end{array}\right]$

2.5.5 向量${\vec{y}}^T$对向量$\vec{x}$求导

$$\frac{d{\vec{y}}^T}{d\vec{x}}=\left[\begin{array}{ccc}\frac{d{f}_1}{d{x}_1}& ...& \frac{d{f}_n}{d{x}_1}\\ ...& ...& ...\\ \frac{d{f}_1}{d{x}_1}& ...& \frac{d{f}_n}{d{x}_m}\end{array}\right]$$
例子：
$${\vec{y}}^T=\left[\begin{array}{cc}{x}_1+x_2& x_1^2+x_2^2\end{array}\right]$$，其中$\vec{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$
$$\frac{d{\vec{y}}^T}{d\vec{x}}=\left[\begin{array}{cc}1& 2x_1\\ 1& 2x_2\end{array}\right]$$

2.5.6 向量$\vec{y}$对向量${\vec{x}}^T$求导

$$\frac{d\vec{y}}{d{\vec{x}}^T}=\left[\begin{array}{ccc}\frac{d{f}_1}{d{x}_1}& ...& \frac{d{f}_1}{d{x}_n}\\ ...& ...& ...\\ \frac{d{f}_m}{d{x}_1}& ...& \frac{d{f}_m}{d{x}_n}\end{array}\right]$$
例子：
$${\vec{y}}^T=\left[\begin{array}{cc}{x}_1+x_2& x_1^2+x_2^2\end{array}\right]$$，其中${\vec{x}}^T=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]$
$$\frac{d\vec{y}}{d{\vec{x}}^T}=\left[\begin{array}{cc}1& 1\\ 2x_1& 2x_2\end{array}\right]$$
观察2.5.5与2.5.6两个结果互为转置。究竟结果是哪个，取决于向量x，可以看到当y也是向量时，其实是$\vec{y}$中的每个元素（标量）对向量$\vec{x}$求导。每个元素（标量）对向量求导的结果排列成列还是行，取决于$\vec{x}$，当$\vec{x}$为行向量时，排列成行；当$\vec{x}$为行向量时，排列成行。

2.5.7 向量$\vec{y}$对矩阵X求导

$$\frac{d{\vec{y}}^T}{dX}=\left[\begin{array}{ccc}\frac{d{f}_1}{d{x}_{11}}& ...& \frac{d{f}_1}{d{x}_{1q}}\\ ...& ...& ...\\ \frac{d{f}_1}{d{x}_{p1}}& ...& \frac{d{f}_n}{d{x}_{pq}}\\ ...& ...& ...\\ ...& ...& ...\\ ...& ...& ...\\ \frac{d{f}_m}{d{x}_{11}}& ...& \frac{d{f}_m}{d{x}_{1q}}\\ ...& ...& ...\\ \frac{d{f}_m}{d{x}_{p1}}& ...& \frac{d{f}_m}{d{x}_{pq}}\end{array}\right]$$
例子：
$$\vec{y}=\left[\begin{array}{c}{x}_1+x_2+x_3+x_4\\ x_1^2+x_2^2+x_3^2+x_4^2\end{array}\right]$$，其中$X=\left[\begin{array}{cc}{x}_1& x_2\\ x_3& x_4\end{array}\right]$
$$\frac{d\vec{y}}{dX}=\left[\begin{array}{cc}1& 1\\ 1& 1\\ 2x_1& 2x_2\\ 2x_3& 2x_4\end{array}\right]$$

2.5.8 矩阵Y对标量x求导

$$\frac{dY}{dx}=\left[\begin{array}{ccc}\frac{d{f}_{11}}{dx}& ...& \frac{d{f}_{1n}}{dx}\\ ...& ...& ...\\ \frac{d{f}_{m1}}{dx}& ...& \frac{d{f}_{mn}}{dx}\end{array}\right]$$
例子：$$Y=\left[\begin{array}{cc}x& x^2\\ x^3& x^4\end{array}\right]$$
$$\frac{dY}{dx}=\left[\begin{array}{cc}1& 2x\\ 3x^2& 4x^3\end{array}\right]$$

2.5.9 矩阵Y对向量$\vec{x}$求导

$$\frac{dY}{d\vec{x}}=\left[\begin{array}{ccc}\frac{d{f}_{11}}{d{x}_1}& ...& \frac{d{f}_{1m}}{d{x}_1}\\ ...& ...& ...\\ \frac{d{f}_{11}}{d{x}_p}& ...& \frac{d{f}_{1m}}{d{x}_p}\\ ...& ...& ...\\ ...& ...& ...\\ ...& ...& ...\\ \frac{d{f}_{n1}}{d{x}_1}& ...& \frac{d{f}_{nm}}{d{x}_1}\\ ...& ...& ...\\ \frac{d{f}_{n1}}{d{x}_p}& ...& \frac{d{f}_{nm}}{d{x}_p}\end{array}\right]$$
例子：
$$Y=\left[\begin{array}{cc}{x}_1+x_2& x_1^2+x_2^2\\ x_1^3+x_2^3& x_1^4+x_2^4\end{array}\right]$$
$$\frac{dY}{d\vec{x}}=\left[\begin{array}{cc}1& 2x_1\\ 1& 2x_2\\ 3x_1^2& 4x_1^3\\ 3x_2^2& 4x_2^3\end{array}\right]$$

2.5.10 矩阵Y对矩阵X求导

$$\frac{dY}{dX}=\left[\begin{array}{cccccccc}\frac{d{f}_{11}}{d{x}_{11}}& ...& \frac{d{f}_{11}}{d{x}_{1q}}& ...& ...& \frac{d{f}_{1n}}{d{x}_{11}}& ...& \frac{d{f}_{1n}}{d{x}_{1q}}\\ ...& ...& ...& ...& ...& ...& ...& ...\\ \frac{d{f}_{11}}{d{x}_{p1}}& ...& \frac{d{f}_{11}}{d{x}_{pq}}& ...& ...& \frac{d{f}_{1n}}{d{x}_{p1}}& ...& \frac{d{f}_{1n}}{d{x}_{pq}}\\ ...& ...& ...& ...& ...& ...& ...& ...\\ ...& ...& ...& ...& ...& ...& ...& ...\\ ...& ...& ...& ...& ...& ...& ...& ...\\ \frac{d{f}_{m1}}{d{x}_{11}}& ...& \frac{d{f}_{m1}}{d{x}_{1q}}& ...& ...& \frac{d{f}_{mn}}{d{x}_{11}}& ...& \frac{d{f}_{mn}}{d{x}_{1q}}\\ ...& ...& ...& ...& ...& ...& ...& ...\\ \frac{d{f}_{m1}}{d{x}_{p1}}& ...& \frac{d{f}_{m1}}{d{x}_{pq}}& ...& ...& \frac{d{f}_{mn}}{d{x}_{p1}}& ...& \frac{d{f}_{mn}}{d{x}_{pq}}\end{array}\right]$$
例子：
$$Y=\left[\begin{array}{cc}{x}_1+x_2+x_3+x_4& x_1^2+x_2^2+x_3^2+x_4^2\\ x_1^3+x_2^3+x_3^3+x_4^3& x_1^4+x_2^4+x_3^4+x_4^4\end{array}\right]$$
其中$$X=\left[\begin{array}{cc}{x}_1& x_2\\ x_3& x_4\end{array}\right]$$
$$\frac{dY}{dX}=\left[\begin{array}{cccc}1& 1& 2x_1& 2x_2\\ 1& 1& 2x_3& 2x_4\\ 3x_1^2& 3x_2^2& 4x_1^3& 4x_2^3\\ 3x_3^2& 3x_4^2& 4x_3^3& 4x_4^3\end{array}\right]$$

2.5.11 总结

以上2.5.1 ；2.5.2 ；2.5.3可以看做是最基础的，y都是标量。无论x是标量、向量、矩阵，本质都是y对x中的每个随机变量求偏导，并将其按照x的排列方式进行排列成一个新的向量。
其余2.5.4-2.5.10中y无论是向量还是矩阵，其本质都是按照y的排列顺序，一个元素一个元素进行求导计算（因此每个元素的计算过程就是2.5.1-2.5.3中的某一种），最终按照y的排列顺序将每个元素的求导结果排列成新的向量或者矩阵。

2.6 矩阵微商的推导结论

• 1.标量对列向量x求导：
  • 1.1$\frac{d({\mu }^T\nu )}{dx}=\frac{d({\mu }^T)}{dx}\cdot \nu +\frac{d({\nu }^T)}{dx}\cdot \mu$，等式左边本质是标量对列向量求导，结果为列向量；等式右边涉及求导的均为行向量对列向量求导，结果为矩阵，再乘以列向量，最终为列向量。
  • 1.2 $\frac{d{\vec{y}}^T\vec{x}}{dx}=\vec{y}$或者$\frac{d{\vec{x}}^T\vec{y}}{dx}=\vec{y}$
  • 1.3 $\frac{d{x}^{T}x}{dx}=2x$（应用1.1的结论）
  • 1.4$\frac{d{x}^{T}Ax}{dx}=(A+A^T)x$（应用1.1的结论）
• 2.行向量对列向量求导：
  • 2.1$\frac{d{x}^T}{dx}=I$
  • 2.2$\frac{d(Ax{)}^T}{dx}=\frac{d{x}^T{A}^T}{dx}=A^T$（左边A有转置，故结果也由转置）
• 3.列向量对行向量求导：
  • 3.1$\frac{dx}{d^T}=I$
  • 3.2$\frac{d(Ax)}{d{x}^T}=A$（左边A没有转置，右边结果也没有转置）
• 4.标量对矩阵求导：
  • 4.1$\frac{d{x}^{T}Ay}{dA}=x{y}^T$
  • 4.2$\frac{d{x}^{T}Ax}{dx}=x{x}^T$
  • 4.3$\frac{d{x}^T{A}^{T}Ax}{dA}=\frac{d(AX{)}^{T}AX}{dA}=2Ax{x}^T$
  • 4.4$\frac{d(Ax-y{)}^T(Ax-y)}{dA}=2(Ax-y)x^T$