Matrix Calculus

矩阵微积分初探

1.1 简介

       矩阵微积分就是用向量和矩阵来表示因变量中每个分量对自变量中每个分量的导数。根据变量格式可以将矩阵微分简单概括为表3-1所示的9种形式：

	标量$y$	向量$\mathbf{y}$	矩阵$\mathbf{Y}$
标量 $x$	$\frac{\partial y}{\partial x}$	$\frac{\partial \mathbf{y}}{\partial x}$	$\frac{\partial \mathbf{Y}}{\partial x}$
向量$\mathbf{x}$	$\frac{\partial y}{\partial \mathbf{x}}$	$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$
矩阵$\mathbf{X}$	$\frac{\partial y}{\partial \mathbf{X}}$

       易知，表格中有三项为空，分别为矩阵$\mathbf{Y}$对向量 $\mathbf{x}$ 的导数，矩阵$\mathbf{Y}$对矩阵$\mathbf{X}$的导数和向量$\mathbf{x}$对矩阵$\mathbf{Y}$的导数。这样写的原因是由于矩阵$\mathbf{Y}$对向量$\mathbf{x}$的导数可视为矩阵$\mathbf{Y}$对多个标量 $x_i$ 求导，其结果是秩超过2的张量，无法用一个二维矩阵表示。其它的类似。
       矩阵求导有两种布局，即两种求导规则，它们分别是分子布局与分母布局。这两种求导规则没有优劣之分，但需要保持在一个问题当中布局使用的一致性，否则容易导致混乱。
       本博客是对矩阵微积分的入门级总结，省略了许多复杂且重要的内容，有兴趣者可进一步参考维基百科Matrix_calculus的介绍，其它网络上的博客不看也罢，根据个人踩坑经验发现基本都是参考自维基百科或自己瞎编。

1.2 符号约定

       为了更加方便高效地说明矩阵微积分的具体形式，先对矩阵微积分中的符号制定统一的规则。在该规则中，我们通过字体来区分标量，向量和矩阵。

1. 用粗体大写字母表示矩阵，如 $\mathbf{X}$,$\mathbf{Y}$ 等，其中 M(n,m) 表示 n 行 m 列的矩阵。
2. 用粗体小写字母表示向量，如 $\mathbf{x}$,$\mathbf{y}$ 等，其中 M(n,1) 表示包含 n 个元素的列向量，根据《线性代数及其应用》中的定义向量其实就是指一列的矩阵。
3. 用斜体小写字母表示标量，如 x,y等。
4. ${\mathbf{X}}^T$表示矩阵转置， tr(X)是轨迹，det(X) 或 |X| 是行列式。
5. 除非有特别说明。字母表中前半部分的普通的字母(a, b, c, …)用来表示常量,后半部分字母(t, x, y, …)用来表示变量。

1.3 分子布局

1. 对标量 x 求导

   分子为标量 y ：$\frac{dy}{dx}$；

   分子为向量 $\mathbf{y}=(y_1,y_2,\dots ,y_n)$ ： $\frac{\partial \mathbf{y}}{\partial x}=(\frac{\partial y_1}{\partial x},\frac{\partial y_2}{\partial x},\dots ,\frac{\partial y_n}{\partial x})$，这是列向量且为正切向量；

   分子为矩阵$\mathbf{Y}=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \dots & y_{1m}\\ y_{21}& y_{22}& \dots & y_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ y_{n1}& y_{n2}& \cdots & y_{nm}\end{array}\right]$ ： $\frac{\partial \mathbf{Y}}{\partial x}=\left[\begin{array}{cccc}\frac{y_{11}}{\partial x}& \frac{y_{12}}{\partial x}& \dots & \frac{y_{1m}}{\partial x}\\ \frac{y_{21}}{\partial x}& \frac{y_{22}}{\partial x}& \dots & \frac{y_{2m}}{\partial x}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{y_{n1}}{\partial x}& \frac{y_{n2}}{\partial x}& \cdots & \frac{y_{nm}}{\partial x}\end{array}\right]$。

2. 对向量 $\mathbf{x}=(x_1,x_2,\dots ,x_m)$求导

   分子为标量 y ：$\frac{dy}{d\mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_m}\end{array}\right]$，该矩阵为 y 在空间 ${\mathbf{R}}^n$ 的梯度，该空间以 $\mathbf{x}$ 为基；

   分子为向量 $\mathbf{y}=(y_1,y_2,\dots ,y_n)$ ： $\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_m}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_m}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_n}{\partial x_1}& \frac{\partial y_n}{\partial x_2}& \cdots & \frac{\partial y_n}{\partial x_m}\end{array}\right]$，该矩阵被称为雅可比矩阵（Jacobian）；

3. 对矩阵 $\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1m}\\ x_{21}& x_{22}& \dots & x_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nm}\end{array}\right]$求导

   分子为标量 y ： $\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{21}}& \dots & \frac{\partial y}{\partial x_{n1}}\\ \frac{\partial y}{\partial x_{12}}& \frac{\partial y}{\partial x_{22}}& \dots & \frac{\partial y}{\partial x_{n2}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial x_{1m}}& \frac{\partial y}{\partial x_{2m}}& \cdots & \frac{y}{\partial x_{nm}}\end{array}\right]$。

1.4 分母布局

       其实分母布局的结果就是对应分子布局结果的转置，为了方便阅读及对比，还是将分母布局的相关结果在下面表示出来。

1. 对标量 x 求导

   分子为标量 y ：$\frac{dy}{dx}$；

   分子为向量 $\mathbf{y}=(y_1,y_2,\dots ,y_n)$ ： $\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x}& \frac{\partial y_2}{\partial x}& \dots & \frac{\partial y_m}{\partial x}\end{array}\right]$，这是行向量；

   分子为矩阵 $\mathbf{Y}=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \dots & y_{1m}\\ y_{21}& y_{22}& \dots & y_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ y_{n1}& y_{n2}& \cdots & y_{nm}\end{array}\right]$ ： $\frac{\partial \mathbf{Y}}{\partial x}=\left[\begin{array}{cccc}\frac{y_{11}}{\partial x}& \frac{y_{21}}{\partial x}& \dots & \frac{y_{n1}}{\partial x}\\ \frac{y_{12}}{\partial x}& \frac{y_{22}}{\partial x}& \dots & \frac{y_{n2}}{\partial x}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{y_{1m}}{\partial x}& \frac{y_{2m}}{\partial x}& \cdots & \frac{y_{nm}}{\partial x}\end{array}\right]$。

2. 对向量 $\mathbf{x}=(x_1,x_2,\dots ,x_m)$求导

   分子为标量 y ：$\frac{dy}{d\mathbf{x}}=(\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},\cdots ,\frac{\partial y}{\partial x_m})$；

   分子为向量 $\mathbf{y}=(y_1,y_2,\dots ,y_n)$ ： $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \cdots & \frac{\partial y_n}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_n}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial x_m}& \frac{\partial y_2}{\partial x_m}& \cdots & \frac{\partial y_n}{\partial x_m}\end{array}\right]$；

3. 对矩阵 $\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1m}\\ x_{21}& x_{22}& \dots & x_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nm}\end{array}\right]$求导

   分子为标量 y ： $\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{12}}& \dots & \frac{\partial y}{\partial x_{1m}}\\ \frac{\partial y}{\partial x_{21}}& \frac{\partial y}{\partial x_{22}}& \dots & \frac{\partial y}{\partial x_{2m}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial x_{n1}}& \frac{\partial y}{\partial x_{n2}}& \cdots & \frac{y}{\partial x_{nm}}\end{array}\right]$；

1.5 参考

[1] Vinicier.机器学习中的线性代数之矩阵求导
[2] Echo.矩阵求导 – 机器学习常用
[3] Veröffentlicht am.矩阵求导笔记
[4] 仙守.数学-矩阵计算（4）两种布局
[5] 维基.Matrix_calculus
[6] lx青萍之末.矩阵求导、几种重要的矩阵及常用的矩阵求导公式