线性代数之 矩阵求导（4）矩阵微分，迹与求导

前言

本次将记录如何进行矩阵求导（标量对矩阵）。由于矩阵求导涉及行列式、迹，因此比标量对向量、向量对向量都要复杂一些。

矩阵微分定义

定义矩阵$X$、实值函数$f(X)$的微分和偏导矩阵：
$$\begin{gathered} X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \\ x_{n1}& x_{n2}& \dots & x_{nn}\end{array}\right] \\ dX=\left[\begin{array}{cccc}d{x}_{11}& d{x}_{12}& \dots & d{x}_{1n}\\ d{x}_{21}& d{x}_{22}& \dots & d{x}_{2n}\\ \dots & \dots & \dots & \dots \\ d{x}_{n1}& d{x}_{n2}& \dots & d{x}_{nn}\end{array}\right] \\ \frac{\partial f(X)}{\partial X}=\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}& \dots & \frac{\partial f}{\partial x_{1n}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}& \dots & \frac{\partial f}{\partial x_{2n}}\\ \dots & \dots & \dots & \dots \\ \frac{\partial f}{\partial x_{n1}}& \frac{\partial f}{\partial x_{n2}}& \dots & \frac{\partial f}{\partial x_{nn}}\end{array}\right] \\ 将f(X)看做关于矩阵元素的多元函数，则 \\ df(X)=\sum _{i=1}^n\sum _{j=1}^n\frac{\partial f}{\partial x_{ij}}d{x}_{ij} \\ 上式是矩阵乘积的内积，即矩阵A{B}^T的迹 \\ df(X)=tr(\frac{\partial f(X)}{\partial X}(dX{)}^T) \\ =tr((\frac{\partial f(X)}{\partial X}{)}^{T}dX) \\ =tr((\frac{\partial f(X)}{\partial X^T})dX) \\ 就将矩阵求导，微分和矩阵的迹关联了起来。 \end{gathered}$$
因此，对实值函数进行矩阵求导，相当于求函数的全微分，并展开为$df(X)=tr((\frac{\partial f(X)}{\partial X^T})dX)$的形式，就能得到分子布局的求导结果$\frac{\partial f(X)}{\partial X^T}$。

定义实矩阵函数$F(X)$的微分：
$$dF(X)=\left[\begin{array}{cccc}d{f}_{11}(X)& d{f}_{12}(X)& \dots & d{f}_{1n}(X)\\ d{f}_{21}(X)& d{f}_{22}(X)& \dots & d{f}_{2n}(X)\\ \dots & \dots & \dots & \dots \\ d{f}_{n1}(X)& d{f}_{n2}(X)& \dots & d{f}_{nn}(X)\end{array}\right]$$
仍然是一个与$F(X)$同型的矩阵。引入矩阵函数的目的只是为了方便微分计算。

矩阵微分计算法则

矩阵微分的计算法则，与标量微分的计算法则相同，将标量变量替换为矩阵变量后，需要注意的只有乘积顺序不能改变。

常矩阵

$$d{A}^{m\times n}=0^{m\times n}$$

线性

$$d(c_{1}F(X)+c_{2}G(X))=c_{1}dF(X)+c_{2}dG(X)$$

乘积

$$d(F(X)G(X))=(dF(X))G(X)+F(X)d(G(X))$$

转置

$$(dF(X){)}^T=d(F^T(X))$$
特例：
$$d{X}^T=(dX{)}^T$$

迹

$$\begin{gathered} d(tr(f(X)))=df(X)=tr(df(X)) \\ d(tr(F(X)))=d\sum _{i=1}^n{f}_{ii}(X)=\sum _{i=1}^{n}d{f}_{ii}(X)=tr(dF(X)) \end{gathered}$$

通过矩阵微分进行求导

例：
$$\begin{gathered} 求： \\ \frac{\partial tr(X^{T}X)}{\partial X^T} \\ 解： \\ d(tr(X^{T}X))=tr(d(X^{T}X)) \\ =tr(d(X^T)X+X^{T}dX) \\ =tr((dX{)}^{T}X+X^{T}dX) \\ =tr((d{X}^T)X)+tr(X^{T}dX) \\ =tr(X^T(d{X}^T{)}^T)+tr(X^{T}dX) \\ =tr(X^{T}dX)+tr(X^{T}dX) \\ =tr(2X^{T}dX) \\ \frac{\partial tr(X^{T}X)}{\partial X^T}=2X^T \end{gathered}$$

实际上，所有的实值函数求导，包括标量对向量、矩阵求导，都能通过这样的求全微分、迹的交换、转置得到最终结果。

常用的矩阵微分

行列式：
$$d|X|=tr(|X|X^{-1}dX)$$

逆矩阵：
$$d(X^{-1})=-X^{-1}(dX)X^{-1}$$

后记

把矩阵求导转换为求矩阵微分，可以有效降低求导的难度。

本节是矩阵求导的最后一个部分。SLAM中涉及矩阵求导的部分很多，后续碰到SLAM中的矩阵求导时，会加到这一篇的求导例子中。