视觉惯性单目SLAM （五）矩阵微积分

1. 基本概念

• 矩阵微积分：Matrix Calculus

• $\color {red}{微积分的核心思想：局部线性化}$

• 矩阵函数（包括向量函数）对标量的导数：等于它的各个元素对标量的导数，且是同阶的矩阵

• 张量积（ Kronecker product of matrices ⊗ ; a.k.a, tensor product.）
  

  $$A \in R^{m \times n}, \quad B \in R^{p \times q}$$
  $$B \otimes A = \begin{bmatrix} B_{11}A & B_{12}A & \cdots & B_{1q}A \\ B_{21}A & B_{22}A & \cdots & B_{2q}A \\ \vdots & \vdots & \ddots & \vdots \\ B_{p1}A & B_{p2}A & \cdots & B_{pq}A \\ \end{bmatrix} \in R^{pm \times qn}$$

• 阿达玛积(Hadamard product： $\circ$）
  $$A \in R^{m \times n}, \quad B \in R^{m \times n}$$
  $$A \circ B = [a_{ij} * b_{ij}]$$

1.1 常用求导操作

• $$\frac {\partial \;( a^T \mathbf x)} {\partial \mathbf x} =a$$

• $$\frac {\partial \;(a^T \mathbf x b)}{\partial \mathbf x} = ab^T$$

• $$\frac {\partial \;(a^T \mathbf x^T b)}{\partial \mathbf x} = ba^T$$

• Gradient and Hessian

  • $$f(\mathbf x) = \mathbf x^T A \mathbf x + b^T \mathbf x$$

  • 梯度：

    $$\nabla_{\mathbf x}f = \frac {\partial f}{\partial \mathbf x} = (A+A^T) \mathbf x + b$$

  • 海森矩阵：

    $$\frac {\partial ^2f}{\partial \mathbf x \partial \mathbf x^T} = A+A^T$$

• 基本规则

  • $\partial A = 0 \quad (A是常量)$

  • $\partial (X + Y) = \partial X +\partial Y$

  • $\partial (\alpha X) = \alpha \; \partial X$

• 乘法规则

  • $\partial (X \circ Y) = (\partial X) \circ Y + X \circ (\partial Y)$

  • $\partial (XY) = (\partial X) Y + X (\partial Y)$

  • $\partial (X \otimes Y) = (\partial X) \otimes Y + X \otimes (\partial Y)$

• 行列式的导数（Derivatives of Determinants）

  • $$\partial (det(X)) = det(X) \; tr(X^{-1} (\partial X))$$

  • $$\partial (ln(det(X))) = tr(X^{-1} \; (\partial X)$$

• 链式法则（The Chain Rule）

  • 设： $$U = f(X)$$
    则： $$\frac {\partial g(U)}{\partial X} = \frac {\partial g(f(X))}{\partial X}$$
  • 链式法则为：
    $$\frac {\partial g(U)}{\partial x_{ij}} = \sum_{k=1}^m\sum_{l=1}^n \frac {\partial g(U)}{\partial u_{kl}} \frac {\partial u_{kl}}{\partial x_{ij}}$$
    $$\frac {\partial g(U)}{\partial X_{ij}} = tr[ (\frac {\partial g(U)}{\partial U})^T \frac {\partial U}{\partial X_{ij}}]$$

• 迹的导数（Derivatives of Traces）

  • 函数$f$是函数$F$的标量导数(f() is the scalar derivative of F())

  • $$\frac {\partial tr(F(X)}{\partial X} = f(X)^T$$

  • $$\frac {\partial}{\partial X} tr(XA) = A^T$$
  • $$\frac {\partial}{\partial X} tr(AXB) = A^TB^T$$
  • $$\frac {\partial}{\partial X} tr(AX^TB) = BA$$
  • $$\frac {\partial}{\partial X} tr(X^TA) = A$$
  • $$\frac {\partial}{\partial X} tr(X^2) = 2X^T$$
• 弗罗伯尼范数求导（Derivatives of Frobenius Norm）
  
  • 弗罗伯尼范数： $$||A||_F = \sqrt{\sum_{ij}|A_{ij}|^2} = \sqrt{tr(AA^H)}$$
  • 导数： $$\frac {\partial}{\partial X}||X||_F^2 = 2X = \frac {\partial}{\partial X}tr(XX^H)$$

1.2 导数公式

2. 矩阵一阶求导规则汇总

• 偏导数/偏微分：Partial Derivatives

• 矩阵导数：Matrix Derivatives

• 自变量（independent variable）：可以为标量（Scalar)、向量（Vector)、矩阵（Matrix）

• 因变量（dependent variable）：可以为标量（Scalar)、向量（Vector)、矩阵（Matrix）

• 行：为因变量类型（$y, \mathbf y, Y$函数类型）

• 列：为自变量类型（$x, \mathbf x, X$）

• 下表中，$i\;$代表行，$j\;$代表列

• 向量： 是一个只有一列的矩阵

• 因变量向量/标量的维数：决定导数的行数

• 自变量向量/标量的维数：决定导数的列数

• 下表中使用$\frac {d}{d}与 \frac{\partial}{\partial}意思相同$

类型	Scalar($y$)	Vector($\mathbf y$，列向量 $m \times 1$)	Matrix($Y$) $m \times n$
Scalar($x$)	$\frac {dy}{dx}$	$\frac {d \mathbf y}{dx} = \begin{bmatrix} \frac {\partial y_i}{\partial x}\end{bmatrix}_{m \times 1}$($\color {red}{向量y的切向量}$)	$\frac {dY}{dx} = \begin{bmatrix} \frac {\partial y_{ij}}{\partial x}\end{bmatrix}_{m \times n}$($\color {red}{切线矩阵}$)
Vector($\mathbf x$) (列向量 $n \times 1$)	$\frac {dy}{d \mathbf x} = \begin{bmatrix} \frac {\partial y}{\partial x_j}\end{bmatrix}_{1 \times n}$($\color {red}{梯度行向量}$)	$\frac {d \mathbf y}{d \mathbf x} = \begin{bmatrix} \frac {\partial y_i}{\partial x_j}\end{bmatrix}_{m \times n}$($\color {red}{雅可比矩阵)}$
Matrix($X$) ($m \times n$)	$\frac {dy}{dX} = \begin{bmatrix} \frac {\partial y}{\partial x_{ji}}\end{bmatrix}_{\color {red}{n \times m}}$($\color {red}{梯度矩阵}$)

2.1 向量对标量求导(Vector-by-scalar)

• $\color {red}{向量\mathbf y： 向量中每个元素y_i为自变量x的函数}$，简称：向量函数（Vector Function）
  $$\mathbf y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}$$

• $\color {red}{标量x}$

• $\color {red}{向量对标量求导：\frac {d \mathbf y}{dx}}$
  

  $$\frac {d \mathbf y}{dx} = \begin{bmatrix} \frac {\partial y_1}{\partial x} \\ \frac {\partial y_2}{\partial x} \\ \vdots \\ \frac {\partial y_m}{\partial x} \end{bmatrix}$$

• $\color {red}{几何意义}$：$\frac {d \mathbf y}{dx}$表示向量$\mathbf y$的切向量（tangent vector）

• $\color {red}{映射}$：$\mathbf y：R^1 \to R^m$

2.2 标量对向量求导(梯度：Scalar-by-vector)

• $\color {red}{映射：R^n \to R^1}$

• $\color {red}{求导结果：梯度}$

• $\color {red}{标量 y}$

• $\color {red}{向量 \mathbf x}$
  

  $$\mathbf x = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$$

• $\color {red}{标量对向量求导：\frac {dy}{d \mathbf x}，其结果为梯度（Gradeint）}$
  $$\nabla y(x) = \nabla y = \frac {dy}{d \mathbf x} = \begin{bmatrix} \frac {\partial y}{\partial x_1}, \frac {\partial y}{\partial x_2}, \cdots, \frac {\partial y}{\partial x_n} \end{bmatrix}$$
• $\color {red}{几何意义}$：它表示一个标量场在空间$R^n$中的梯度（$Gradient$），在物理学中，电场是电势的矢量梯度。

2.2.1 梯度（Gradient）

• $\color {red}{梯度定义}$：对于一个可微的、多变量的实值函数$f(x_1, x_2, \cdots, x_n)$，其梯度是一个向量，且向量的元素为$\frac {\partial f}{\partial x_i}(x)，上体定义如下：$
  

  $$grad \; f =\nabla f(x) =\nabla f = \begin{bmatrix} \frac {\partial f}{\partial x_1}, \frac {\partial f}{\partial x_2}, \cdots, \frac {\partial f}{\partial x_n} \end{bmatrix}$$

• $\color {red}{梯度是行向量还是列向量？}$：依据具体使用环境而定

• $\color {red}{图片的梯度表示:}$
  
  

• $\color {red}{Jacobian矩阵与梯度的关系:}$ Jacobian矩阵是1个具有n个变量的向量函数的梯度的推广。即一个多变量的实值函数求偏导生成一个梯度向量，而m个多变量的实值函数求偏导生成一个Jacobian矩阵（由多个梯度行向量组成）。

• $\color {red}{f:R^n \to R^1: 求偏导生成（梯度向量 Gradient \; Vector）}$

• $\color {red}{f:R^n \to R^m: 求偏导生成（雅可比矩阵 Jacobian \; Matrix）}$

• $\color {red}{梯度向量的长度}$：表示在梯度方向变化的快慢，即陡峭程度(长度越大，变化越大)

• $\color {red}{梯度向量的方向}$：表示在指定点最陡的方向（即切线斜率最大的方向）

• $\color {red}{如果标量函数的梯度某点x为0，则称f在点x有一个临界点/驻点（可能为极大值点、或极小值点、或拐点）}$

2.2.2 方向导数（Directionial Derivative）

• 梯度向量方向表示最陡的方向，方向导数描述指定方向的陡峭程度(如爬山，沿着最陡的方向可能比较困难，选一个合适的陡峭的路上山比较可行)

• $\color {red}{方向导数用梯度表示（directional \; derivative）}$：空间矢量$\mathbf x$的标量函数$f（\mathbf x）$在单位向量$\mathbf v$方向上的方向导数用梯度定义如下：
  

  $$\nabla_{\mathbf v} f(\mathbf x) = \nabla f(\mathbf x) \cdot \mathbf v$$
  $\color {red}{\nabla_{\mathbf v} f(\mathbf x)：方向导数； \quad \nabla f(\mathbf x):为函数f(x)的梯度；\quad (\cdot):为点乘(dot \; product) }$
  或简记为： $$\nabla_{\mathbf v} f= \frac {df}{d \mathbf x} \mathbf v$$

• $\color {red}{方向导数(是一个标量<一个数>)的定义}$：

  • 标量函数$f(\mathbf x)$
    $$f(\mathbf x) = f(x_1, x_2, \cdots, x_n)$$
  • 沿着向量$\mathbf v$方向
    $$\mathbf v = \begin{bmatrix} v_1, v_2, \cdots, v_n \end{bmatrix}$$

  • 的$\color {red}{方向导数}$定义为：
    

    $$\nabla_{\mathbf v} f(\mathbf x) = \lim_{h \to 0} \frac {f(\mathbf x + h \mathbf v) - f(\mathbf x)}{h}, \quad h为标量$$

  • 如果函数$f$点$\mathbf x$处可微，则沿着任意向量$\mathbf v$的方向导数都存在，且为：
    

    $$\nabla_{\mathbf v} f(\mathbf x) = \nabla f(\mathbf x) \cdot \mathbf v$$

• $\color {red}{方向导数的意义}$：

  • 一个多元的可微函数在点$\mathbf x$处沿着向量$\mathbf v$方向的方向导数的物理含义：当以速度$\mathbf v$移动通过点$\mathbf x$时，$f$相对于时间$(t)$的瞬时变化率

• $\color {red}{方向导数的性质}$：

  • 求和规则（sum rule）：
    $$\nabla_{\mathbf v}(f+g) = \nabla_{\mathbf v}f + \nabla_{\mathbf v}g$$
  • 常数因子规则（constant factor rule: $c$为任意常数）：
    $$\nabla_{\mathbf v}(cf) = c\nabla_{\mathbf v}f$$
  • 乘法规则（product rule）：
    $$\nabla_{\mathbf v}(fg) = g\nabla_{\mathbf v}f + f\nabla_{\mathbf v}g$$
  • 链式法则（chain rule）：如果$g$在点$p$处可微，且$h$在$g(p)$处可微，则有:
    $$\nabla_{\mathbf v}(h \circ g)(p) = h'(g(p)) \; \nabla_{\mathbf v}g(p)$$

2.3 向量对向量求导（Vector-by-vector）

• $\color {red}{向量函数\mathbf y}$（Vector Function）：向量的元素为输入向量$\mathbf x的$函数(因变量)
  

  $$\mathbf y = \begin{bmatrix} y_1 \\ y_2 \\ \cdots\\ y_m \end{bmatrix}$$

• $\color {red}{输入向量\mathbf x}$（Input Vector）：向量的元素的自变量
  

  $$\mathbf x = \begin{bmatrix} x_1 \\ x_2 \\ \cdots\\ x_n \end{bmatrix}$$

• $\color {red}{向量对向量求导：\frac {d \mathbf y}{d \mathbf x}，其结果为雅可比矩阵（Jacobian Matrix）}$
  $$\frac {d \mathbf y}{d \mathbf x} = \begin{bmatrix} \frac {\partial y_1}{\partial x_1} & \frac {\partial y_1}{\partial x_2} & \cdots & \frac {\partial y_1}{\partial x_n } \\ \frac {\partial y_2}{\partial x_1} & \frac {\partial y_2}{\partial x_2} & \cdots & \frac {\partial y_2}{\partial x_n } \\ \vdots & \vdots & \ddots & \vdots \\ \frac {\partial y_m}{\partial x_1} & \frac {\partial y_m}{\partial x_2} & \cdots & \frac {\partial y_m}{\partial x_n } \end{bmatrix}$$
• 向量函数对向量的导数表示：推进（或差），或雅可比矩阵（pushforward (or differential), or the Jacobian matrix.）。
• $\color {red}{向量对标量求导、标量对向量求导：是向量对向量求导的特例}$。

2.3.1 雅可比矩阵（Jacobian Matrix）

• $\color {red}{定义}$：向量值函数对所有自变量的一阶偏导数生成的矩阵为Jacobian Matrix
• $\color {red}{f: R^n \to R^m, \; x \in R^n, \; f(x) \in R^m， \quad 函数f的Jacobian是J_{m \times n}}$：
  $$x = \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix}, f = \begin{bmatrix} f_1 \\ \vdots \\ f_m \end{bmatrix}$$
  $$J_f(x) = J = \begin{bmatrix} \frac {\partial f}{\partial x_1} & \cdots & \frac {\partial f}{\partial x_n} \end{bmatrix}=\begin{bmatrix} \frac {\partial f_1}{\partial x_1} & \cdots & \frac {\partial f_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac {\partial f_m}{\partial x_1} & \cdots & \frac {\partial f_m}{\partial x_n} \end{bmatrix}$$
• $\color {red}{所有表示方法}$：
  $$J_f = J_f(x) = J = Df = \frac {\partial (f_1, \cdots, f_m)}{\partial (x_1, \cdots, x_n)}$$
• $\color {red}{矩阵元素法表示为}$：
  $$J_{ij} = \frac {\partial f_i}{\partial x_j}$$

• $\color {red}{雅可比矩阵的重要性}$：如果向量函数$f$在点$x$可微，Jacobian Matrix定义了从$R^n \to R^m$的线性变换，且$\color {red}{是向量函数在点x附近最好的线性近似}$。

• $\color {red}{如果m=1,向量函数只有一个函数，此雅可比矩阵变为一个行向量（row \; vector），即 梯度\nabla_f(x)}$

• $\color {red}{雅可比矩阵与梯度和导数的关系}$：

  • 对于多变量标量值函数变为：梯度
  • 对于单变量标量值函数变为：导数
  • 对于多变量向量值函数变为：Jacobian Matrix

• $\color {red}{用于局部变换}$：

  • 可用于描述强加给图像局部的拉伸、旋转、平移变换
  • 如$(x',y') = f(x,y)用于变换一个图像，则J_f(x,y)则描述了（x，y）邻域像素是如何变换的$

• $\color {red}{最好的局部线性近似}$：

  • $若p是R^n中一点，则f在点p可微，其偏导数为J_f(p)，则线性变换J_f(p)是点p附近最好的线性近似，即$
    $$f(x) = f(p) + J_f(p) (x-p) + o(||x-p||)$$
  • 当$x \to p,||x-p||是x与p间的距离$

• $\color {red}{海森矩阵的来源}$：

  • 多变量标量值函数的梯度的Jacobian Matriax就是海森矩阵，它是此函数的二阶导数
• $\color {red}{非线性变换实例图}$
  

2.4 矩阵对标量求导（Matrix-by-scalar）

• $\color {red}{用途}$：可用于解决最小化问题
• $\color {red}{矩阵函数Y}$：Matrix function (矩阵的元素为自变量$x$的函数 )
  $$Y = \begin{bmatrix} y_{11} & y_{12} & \cdots & y_{1n} \\ y_{21} & y_{22} & \cdots & y_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ y_{m1} & y_{m2} & \cdots & y_{mn} \\ \end{bmatrix}$$

• $\color {red}{标量x}$

• $\color {red}{矩阵对标量的导数（切线矩阵 tangent \; matrix）}$

$$\frac {dY}{dx} = \begin{bmatrix} \frac {\partial y_{11}}{\partial x} & \frac {\partial y_{12}}{\partial x} & \cdots & \frac {\partial y_{1n}}{\partial x} \\ \frac {\partial y_{21}}{\partial x} & \frac {\partial y_{22}}{\partial x} & \cdots & \frac {\partial y_{2n}}{\partial x} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {\partial y_{m1}}{\partial x} & \frac {\partial y_{m2}}{\partial x} & \cdots & \frac {\partial y_{mn}}{\partial x} \\ \end{bmatrix}$$

2.5 标量对矩阵求导（Scalar-by-matrix）

• $\color {red}{用途}$：可用于解决最小化问题，如$Kalman \; filter$ 。
• $\color {red}{标量函数y}$
• $\color {red}{矩阵自变量X}$
  $$X = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mn} \\ \end{bmatrix}$$
• $\color {red}{标量y对矩阵X求导，其结果为梯度矩阵（gradient \; matrix）}$
  $$\nabla_X y(X) = \frac {dy}{dX} = \begin{bmatrix} \frac {\partial y}{\partial x_{11}} & \frac {\partial y}{\partial x_{21}} & \cdots & \frac {\partial y}{\partial x_{m1}} \\ \frac {\partial y}{\partial x_{12}} & \frac {\partial y}{\partial x_{22}} & \cdots & \frac {\partial y}{\partial x_{m2}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {\partial y}{\partial x_{1n}} & \frac {\partial y}{\partial x_{2n}} & \cdots & \frac {\partial y}{\partial x_{mn}} \\ \end{bmatrix}$$
• $\color {red}{标量函数f(X)的方向导数}$：
  
  • f(X)：其自变量为矩阵X
  • f(X)在矩阵Y方向的方向导数为：
    $$\nabla _Yf = tr(\frac {d f}{d X}Y), \quad tr为矩阵的迹$$

3. 标量对向量的二阶求导(海森矩阵)

• $\color {red}{定义}$：
  
  • Hessian Matrix是一个多变量标量值函数的二阶偏导组成的方阵
  • $\color {red}{几何意义：它描述了多变量函数的局部曲率}$
  • $f: R^n \to R, x \in R^n, f(x) \in R，如果函数f的二阶偏导数存在且在函数域内连续，则H_{n \times n}为：$
    $$H = \begin{bmatrix} \frac {\partial^2 f}{\partial x_1 \partial x_1 } & \frac {\partial^2 f}{\partial x_1 \partial x_2 } & \cdots & \frac {\partial^2 f}{\partial x_1 \partial x_n } \\ \frac {\partial^2 f}{\partial x_2 \partial x_1 } & \frac {\partial^2 f}{\partial x_2 \partial x_2 } & \cdots & \frac {\partial^2 f}{\partial x_2 \partial x_n } \\ \vdots & \vdots & \ddots & \vdots \\ \frac {\partial^2 f}{\partial x_n \partial x_1 } & \frac {\partial^2 f}{\partial x_n \partial x_2 } & \cdots & \frac {\partial^2 f}{\partial x_n \partial x_n } \\ \end{bmatrix}$$
  • 元素法表示为：
    $$H_{ij} = \frac {\partial^2f}{\partial x_i \partial x_j}$$
• $\color {red}{海森矩阵的来源}$
  
  • 多变量标量值函数的梯度的Jacobian Matriax就是海森矩阵，它是此函数的二阶导数
    $$H(f(x)) = J(\nabla f(x))^T$$
• $\color {red}{Hessian矩阵的特征值}$：
  
  • 就是形容其在该点附近特征向量方向的凹凸性，特征值越大，凸性越强。

• $\color {red}{Hessian矩阵是n×n方阵，且是对称矩阵}$:

  • 由于二阶导数具有对称性，即：
    $$\frac {\partial }{\partial x_i} \left(\frac {\partial f }{\partial x_j} \right) = \frac {\partial }{\partial x_j} \left(\frac {\partial f }{\partial x_i} \right)$$
  • 所以有：
    $$H = H^T$$

• $\color {red}{Critical \; points/Stationary \; point(临界点/驻点)}$

  • $\color {red}{如果标量函数的梯度某点x为0，则称f在点x有一个临界点/驻点（可能为极大值点、或极小值点、或拐点）}$
  • 在点$x$处的海森矩阵的行列式被称为：判别式（discriminant）
  • 如果此判别式为$0$，则点$x$被称为：函数$f$的退化临界点（degenerate critical point）或非莫尔斯临界点（non-Morse critical point）
  • 如果此判别式不为$0$，则点$x$被称为：函数$f$非退化临界点的(non-degenerate)或莫尔斯临界点 （Morse critical point ）

• $\color {red}{用途}$：

  • 海森矩阵在莫尔斯理论(Morse theory)和突变理论（catastrophe theory）中具有重要作用，因为它的内核和特征值可以对临界点进行分类

• $\color {red}{海森矩阵的性质}$：

  • 凸函数的Hessian Matrix是半正定的（positive semi-definite(M为对称，对于任意列向量z，有$z^TMz \ge 0$)）
  • 如果Hessian矩阵在点$x$是正定的（positive definite (M为对称，对于任意列向量z，有$z^TMz >0$)），则$x$是$f$的孤立局部极小值点
  • 如果Hessian矩阵在点$x$是负定的（negative definite (M为对称，对于任意列向量z，有$z^TMz < 0$)），则$x$是$f$的孤立局部极大值点
  • 如果Hessian矩阵有正的和负的特征值，则x是f的一个鞍点（saddle point）

4. 导数 VS 梯度 VS 雅可比矩阵 VS 海森矩阵四者的关系

映射	函数类型	一阶求导	二阶求导
$f:R^1 \to R^1$	标量值函数	导数	0
$f:R^n \to R^1$	标量值函数	梯度	海森矩阵
$f:R^n \to R^m$	向量值函数	雅可比矩阵

参考：
1）https://en.wikipedia.org/wiki/Matrix_calculus
2）http://select.cs.cmu.edu/class/10725-S10/recitations/r4/Matrix_Calculus_Algebra.pdf
3）https://ccrma.stanford.edu/~dattorro/matrixcalc.pdf
4）http://www.janmagnus.nl/misc/mdc2007-3rdedition