-矩阵求导-

一、为什么需要矩阵求导

• 参数的向量化：
  向量化会使代码、式子更加简洁；
  使用向量化代替for循环，向量化能够加速你的代码；
• 求导在优化算法中的广泛应用：
  优化算法需要反向传播，需要对参数矩阵进行求导

二、向量函数与矩阵求导初印象

• 标量函数：输出为标量的函数
  $f(x)=x^2,R\to R$
  .
  $f(x)=x_1^2+x_2^2,R^2\to R$
• 向量函数：输出为向量(矩阵)
  $f(x)=\left[\begin{array}{c}{f}_1(x)=x\\ f_2(x)=x^2\end{array}\right],R\to R^2$
  .
  $f(x)=\left[\begin{array}{ccc}{f}_{11}(x)=x& & f_{12}(x)=x^2\\ f_{21}(x)=x^3& & f_{22}(x)=x^4\end{array}\right],R\to R^{2\times 2}$

输入$x$可以是标量、向量、矩阵，输出$f(x)$也可以是标量、向量、矩阵。讨论的问题是$\frac{df(x)}{dx}=?$

矩阵求导主要讨论的是【输入$x$是标量、向量】和【输出$f(x)$是标量、向量】组合在一起的$4$种情况。

矩阵求导的本质：
$\frac{dA}{dB}$：矩阵$A$中每个元素对矩阵$B$中的每个元素求导。

从求导后的个数看矩阵求导本质：

• $A:1\times 1、B:1\times 1$
  $\frac{dA}{dB}：1\times 1$

• $A:1\times p、B:1\times n$
  $\frac{dA}{dB}：p\times n$(排列组合一下)

• $A:q\times p、B:m\times n$
  $\frac{dA}{dB}：p\times q\times m\times n$

三、求导秘术：YX拉伸

$秘术口诀\{\begin{array}{l}1、标量不变、向量拉伸\\ 2、前面(Y)横向拉，后面(X)纵向拉\end{array}$

例1：求$\frac{f(x)}{dx}$

• $f(x)$是标量函数,$f(x)=f(x_1,x_2,\dots \dots ,x_n)$
• $x$是列向量

这里的$f(x)$就是口诀里的Y，它是标量不变且不用拉伸；$x$是向量，需要拉伸，根据第二条口诀要纵向拉伸。
所以$\frac{f(x)}{dx}=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \\ \frac{\partial f(x)}{\partial x_2}\\ \dots \dots \\ \\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]$

实际拉伸就是将多元函数的偏导写在一个列向量里。

---

例2：求$\frac{f(x)}{dx}$

• $f(x)$是向量函数,$f(x)=\left[\begin{array}{c}{f}_1(x)\\ \\ f_2(x)\\ \\ \dots \dots \\ \\ f_n(x)\end{array}\right]$
• $x$是标量

这里的$f(x)$就是口诀里的Y，它是向量需要拉伸，横向拉；$x$是标量不变且不用拉伸。
所以$\frac{f(x)}{dx}=\left[\begin{array}{cccc}\frac{\partial f_1(x)}{\partial x}& \frac{\partial f_2(x)}{\partial x}& \dots \dots & \frac{\partial f_n(x)}{\partial x}\end{array}\right]$

---

例3：求$\frac{f(x)}{dx}$

• $f(x)$是向量函数,$f(x)=\left[\begin{array}{c}{f}_1(x)\\ \\ f_2(x)\\ \\ \dots \dots \\ \\ f_n(x)\end{array}\right]$
• $x$是列向量

$\frac{f(x)}{dx}=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \\ \frac{\partial f(x)}{\partial x_2}\\ \dots \\ \\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]$=$\left[\begin{array}{ccccc}\frac{\partial f_1(x)}{\partial x_1}& & \frac{\partial f_2(x)}{\partial x_1}& & \dots \frac{\partial f_n(x)}{\partial x_1}\\ & & & & \\ \frac{\partial f_1(x)}{\partial x_2}& & \frac{\partial f_2(x)}{\partial x_2}& & \dots \frac{\partial f_n(x)}{\partial x_2}\\ \dots & & \dots & & \dots \dots \\ & & & & \\ \frac{\partial f_{1}1(x)}{\partial x_n}& & \frac{\partial f_2(x)}{\partial x_n}& & \dots \frac{\partial f_n(x)}{\partial x_n}\end{array}\right]$

四、常见矩阵求导公式举例

1. $f(x)=A^T\cdot X$，$A=\left[\begin{array}{c}{a}_1\\ a_2\\ \dots \\ a_n\end{array}\right]$,$X=\left[\begin{array}{c}{x}_1\\ x_2\\ \dots \\ x_n\end{array}\right]$
   .
   $f(x)$是标量，$X$是向量,所以：
   
   $f(x)=A^T\cdot X=X^T\cdot A=\sum _{i=1}^n{a}_i{x}_i$
   $\frac{d{A}^T\cdot X}{dX}=\frac{d{X}^T\cdot A}{dX}=A$

2.$f(X)=X^T\cdot A\cdot X$ ,$X=\left[\begin{array}{c}{x}_1\\ x_2\\ \dots \\ x_n\end{array}\right]$,$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& \dots a_{1n}\\ a_{21}& a_{22}& \dots a_{2n}\\ \dots & \dots & \dots \\ a_{n1}& a_{n1}& \dots a_{nn}\end{array}\right]$.
.
$f(X)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$是标量，X是向量。

$\frac{d{X}^T\cdot A\cdot X}{dX}=(A+A^T)\cdot X$

五、求导细节补充

分母布局和分子布局：

• 分母布局：YX拉伸术
  口诀一致，其实就是Y横向拉伸，X纵向拉伸
• 分子布局：XY拉伸术
  口诀一致，其实就是X横向拉伸，Y纵向拉伸

这两个拉伸求导后元素排列不同，通常 (分母布局)^T=(分子布局)，互为转置关系。

如下图的$f(X)=X^{T}X$的例子：

补充公式：(分母布局)

$U={\left[\begin{array}{c}{u}_1(x)\\ u_2(x)\\ \dots \\ u_n(x)\end{array}\right]}_{n\times 1}$,$V={\left[\begin{array}{c}{v}_1(x)\\ v_2(x)\\ \dots \\ v_n(x)\end{array}\right]}_{n\times 1}$,$X={\left[\begin{array}{c}{x}_1(x)\\ x_2(x)\\ \dots \\ x_n(x)\end{array}\right]}_{n\times 1}$

1. 矩阵求导的乘法公式：
   $\frac{d{V}^{T}U}{dX}=\frac{\partial U}{\partial X}V+\frac{\partial V}{\partial X}U$
2. 矩阵的加法公式：
   $\frac{dV+U}{dX}=\frac{dU}{dX}+\frac{dV}{dX}$

电子书查阅：
可以通过这个电子书查公式
目录导航：$Derivatives->DerivativesofMatrices,VectorsandScalarForms$
公式中$a$表示标量，a表示列向量,$A$表示矩阵