机器学习中的矩阵求导

前言

初学机器学习的时候遇到矩阵或向量的导数总是十分头疼。后来在学习过程中，老师告诉我说记住一些普遍的形式，然后套用即可；也有的教程是说采用行形式或者列形式。但我觉得这些都只是在隔靴搔痒，并没有真正地解决矩阵求导的问题。于是我考虑了张量分析，自以为给出了一个矩阵求导的通用规则。其实只要一切归结于矩阵元的运算就可以很容易地看懂张量缩并的运算，继而导出矩阵求导。这其实是一种非常形而上的计算方法，但我个人还是很喜欢自己导出的这个计算方法。

由于线性代数和统计学习的向量普遍都是以列向量为主，本文推导中的向量统一都是列向量。

向量值映照的微分(向量对向量对求导)

给定一个向量值映照, $\mathbf{f}:{\mathbb{R}}^m\to {\mathbb{R}}^n$.

$\mathbf{f}$在$\mathbf{x}$处可微是指$\exists \mathcal{A}\in Hom\left({\mathbb{R}}^m,{\mathbb{R}}^n\right)$, s.t. $\mathbf{f}\left(\mathbf{x}+\Delta \mathbf{x}\right)-\mathbf{f}\left(\mathbf{x}\right)=\mathcal{A}\left(\mathbf{x}\right)\left(\Delta \mathbf{x}\right)+o\left(\Delta \mathbf{x}\right)$.

Remark: $Hom\left({\mathbb{R}}^m,{\mathbb{R}}^n\right)$表示从${\mathbb{R}}^m$到${\mathbb{R}}^n$的线性映射的全体, $\mathcal{A}\left(\mathbf{x}\right)$是$\mathbf{x}$的函数, 微分在每一点可能不同。

因为是线性映射，所以有

$$\begin{array}{c}\begin{array}{rl}\mathcal{A}\left(\begin{array}{c}\Delta x^1\\ ⋮\\ \Delta x^m\end{array}\right)& =\mathcal{A}\left(\begin{array}{c}\Delta x^1\\ ⋮\\ 0\end{array}\right)+\cdots +\mathcal{A}\left(\begin{array}{c}0\\ ⋮\\ \Delta x^m\end{array}\right)\\ & =\Delta x^1\mathcal{A}\left(\begin{array}{c}1\\ ⋮\\ 0\end{array}\right)+\cdots +\Delta x^m\mathcal{A}\left(\begin{array}{c}0\\ ⋮\\ 1\end{array}\right)\\ & =\left[\mathcal{A}\left(\begin{array}{c}1\\ ⋮\\ 0\end{array}\right)\cdots \mathcal{A}\left(\begin{array}{c}0\\ ⋮\\ 1\end{array}\right)\right]\left(\begin{array}{c}\Delta x^1\\ ⋮\\ \Delta x^m\end{array}\right)\\ & =\mathbf{A}\Delta \mathbf{x}\simeq \left(\begin{array}{c}\Delta f^1\\ ⋮\\ \Delta f^n\end{array}\right)\end{array}\end{array}$$

其中矩阵$\mathbf{A}(n\times m)$为线下映射$\mathcal{A}$在典则基下的表示.

Remark: 很多资料中都是从多对一的角度出发进行偏导数和多变量微分的解释, 但其实以线下映射的观点从一对多的角度出发可以得到更深刻和基本的结果.

记${\mathbf{i}}_i$为 $i$th典则基向量, i.e., ${\left[0,\cdots ,1,\cdots ,0\right]}^{\top }$.

让我们关注 $\mathcal{A}{\mathbf{i}}_i$，有

$$\begin{array}{c}\mathbf{f}\left(\mathbf{x}+\lambda {\mathbf{i}}_i\right)-\mathbf{f}\left(\mathbf{x}\right)=\lambda \mathcal{A}{\mathbf{i}}_i+o\left(\lambda \right)\end{array}$$

$$\begin{array}{c}li{m}_{\lambda \to 0}\frac{\mathbf{f}\left(\mathbf{x}+\lambda {\mathbf{i}}_i\right)-\mathbf{f}\left(\mathbf{x}\right)}{\lambda }=\mathcal{A}{\mathbf{i}}_i=:\frac{\partial \mathbf{f}}{\partial x^i}={\left(\frac{\partial f^1}{\partial x^i},\cdots ,\frac{\partial f^n}{\partial x^i}\right)}^{\top }\end{array}$$

Remark: 向量值(多元)自变量放分母是不好做的, 所以一维一维地处理了, 就是曲线的切向量. $\mathbf{x}$不动, $\mathbf{f}\left(\mathbf{x}+\lambda {\mathbf{i}}_i\right)$不就是在$x^i$坐标线上。以$\lambda$为参数的曲线. 向量值(多元)因变量放分子是好处理的, 因为每一个分量$f^n$关于$x^i$的微分 是在一元函数微积分中就可以计算了。

$$\begin{array}{c}{\mathbb{R}}^{n\times m}\ni \mathbf{A}=\left(\mathcal{A}{\mathbf{i}}_1,\cdots ,\mathcal{A}{\mathbf{i}}_n\right)=\left(\frac{\partial \mathbf{f}}{\partial x^1},\cdots ,\frac{\partial \mathbf{f}}{\partial x^m}\right)=:D\mathbf{f}\end{array}$$

其中$Df$被称为Jacobian矩阵。

向量值函数的复合微分

$\mathbf{f}:{\mathbb{R}}^m\to {\mathbb{R}}^n,\mathbf{x}\mapsto \mathbf{y}$.

$\mathbf{g}:{\mathbb{R}}^n\to {\mathbb{R}}^p$.

$$\begin{array}{c}\mathbf{f}\left(\mathbf{x}+\Delta \mathbf{x}\right)-\mathbf{f}\left(\mathbf{x}\right)=D\mathbf{f}\left(\mathbf{x}\right)\left(\Delta \mathbf{x}\right)+o\left(\Delta \mathbf{x}\right)\end{array}$$

$$\begin{array}{c}\mathbf{g}\left(\mathbf{y}+\Delta \mathbf{y}\right)-\mathbf{g}\left(\mathbf{y}\right)=D\mathbf{g}\left(\mathbf{y}\right)\left(\Delta \mathbf{y}\right)+o\left(\Delta \mathbf{y}\right)\end{array}$$

where $\mathbf{y}=\mathbf{f}\left(\mathbf{x}\right)$

$$\begin{array}{c}\begin{array}{rl}\mathbf{g}\left(\mathbf{y}+\Delta \mathbf{y}\right)& =\mathbf{g}\left[\mathbf{y}+\mathbf{f}\left(\mathbf{x}+\Delta \mathbf{x}\right)-\mathbf{f}\left(\mathbf{x}\right)+o\left(\Delta \mathbf{x}\right)\right]\\ & =\mathbf{g}\left[\mathbf{y}+D\mathbf{f}\left(\mathbf{x}\right)\left(\Delta \mathbf{x}\right)+o\left(\Delta \mathbf{x}\right)\right]\\ & =\mathbf{g}\left(\mathbf{y}\right)+D\mathbf{g}\left(\mathbf{y}\right)D\mathbf{f}\left(\mathbf{x}\right)\left(\Delta \mathbf{x}\right)+o\left(\Delta \mathbf{x}\right)\end{array}\end{array}$$

Remar: 我们看到了微分$Df$就是一个线性映射, 它的定义域和值域与$f$是一样的，本质上$Df$就是$f$的线性化。

一般求导流程

机器学习中一般是某个标量$R$关于矩阵$\mathbf{X}\in {\mathbb{R}}^{I\times J}$或向量的导数$\mathbf{x}\in {\mathbb{R}}^{I\times 1}$, 导数维数应与原向量、原矩阵相同。 总体的原则是运用矩阵乘法对元素进行求导.

运用einsum对矩阵进行操作可大大简化求导难度。

记矩阵$\mathbf{X}$的第$i$行第$j$列元素记为$X_i^{\cdot j}$, 其转置有$(X^{\top }{)}_i^{\cdot j}=X_j^{\cdot i}$.

但是向量仅有一个维度，其仅存在指标上下的变化，即$(x^{\top }{)}_i=x^i$， $(x^{\top }{)}^i=x_i$

设有一个映射为$f:{\mathbb{R}}^{I\times J}\to \mathbb{R}$,
记$\frac{\partial f}{\partial \mathbf{X}}=\mathbf{D}$, 有

$$\begin{array}{c}\frac{\partial f}{\partial X_i^{\cdot j}}=D_i^{\cdot j}\end{array}$$

设有一个映射为$\mathbf{X}:\mathbb{R}\to {\mathbb{R}}^{I\times J},t\mapsto \mathbf{X}$,
记$\frac{\partial \mathbf{X}}{\partial t}=\mathbf{D}$,

$$\begin{array}{c}\frac{\partial X_i^{\cdot j}}{\partial t}=D_i^{\cdot j}\end{array}$$

例子

Proposition:
Given $\mathbf{X}\in {\mathbb{R}}^{I\times J}$ and $\mathbf{A}\in {\mathbb{R}}^{J\times I}$

$$\begin{array}{c}\frac{\partial Tr\left(\mathbf{AX}\right)}{\partial \mathbf{X}}={\mathbf{A}}^{\top }\in {\mathbb{R}}^{I\times J}\end{array}$$

Proof: $Tr\left(\mathbf{AX}\right)=A_r^{\cdot s}{X}_s^{\cdot r}$,
$\frac{\partial Tr\left(\mathbf{AX}\right)}{\partial X_i^{\cdot j}}={\delta }_{sr}^{ij}{A}_r^{\cdot s}=A_j^{\cdot i}={\left(A^{\top }\right)}_i^{\cdot j}$

Proposition:
Given $\mathbf{X}\in {\mathbb{R}}^{I\times J}$ and $\mathbf{A}\in {\mathbb{R}}^{I\times I}$

$$\begin{array}{c}\frac{\partial Tr\left({\mathbf{X}}^{\top }\mathbf{AX}\right)}{\partial \mathbf{X}}=\mathbf{AX}+{\mathbf{A}}^{\top }\mathbf{X}\in {\mathbb{R}}^{I\times J}\end{array}$$

Proof: $Tr\left({\mathbf{X}}^{\top }\mathbf{AX}\right)=X_s^{\cdot r}{A}_s^{\cdot t}{X}_t^{\cdot r}$

$$\begin{array}{c}\begin{array}{rl}\frac{\partial Tr\left({\mathbf{X}}^{\top }\mathbf{AX}\right)}{\partial X_i^{\cdot j}}& ={\delta }_{sr}^{ij}{A}_s^{\cdot t}{X}_t^{\cdot r}+X_s^{\cdot r}{A}_s^{\cdot t}{\delta }_{tr}^{ij}\\ & =A_i^{\cdot t}{X}_t^{\cdot j}+X_s^{\cdot j}{A}_s^{\cdot i}=A_i^{\cdot t}{X}_t^{\cdot j}+{\left(A^{\top }\right)}_i^{\cdot s}{X}_s^{\cdot j}\\ & ={\left(AX\right)}_i^{\cdot j}+{\left(A^{\top }X\right)}_i^{\cdot j}\end{array}\end{array}$$

Remark: 进行矩阵元操作的时候注意指标的行列性与次序即可确定矩阵的转置与否和次序, 注意如果是对$X_i^{\cdot j}$, 则最后的表达式的第一个下指标是$i$最后一个上指标是$j$。

当涉及比较复杂的复合运算是，就需要用到以下定理

Theorem:

Given two matrices $\mathbf{X}\in {\mathbb{R}}^{I\times J}$ and $\mathbf{Y}\in {\mathbb{R}}^{M\times N}$ and a function $f\left(\mathbf{Y}\left(\mathbf{X}\right)\right)\in \mathbb{R}$.

$$\begin{array}{c}\frac{\partial f}{\partial X_i^{\cdot j}}=\frac{\partial f}{\partial Y_k^{\cdot l}}\frac{\partial Y_k^{\cdot l}}{\partial X_i^{\cdot j}}\end{array}$$

Remark: 这个式子用了爱因斯坦求和记号是个求和的式子, 应用了多元函数复合求导, 将每个$Y_k^{\cdot l}$都看作$X_i^{\cdot j}$的函数. 新手经常出错是直接进行了偏微分抵消, 事实上要把偏微分写成全微分(求和形式)才可以抵消。

Proposition:

Given $\mathbf{X}\in {\mathbb{R}}^{I\times I}$ invertiable
$$\begin{array}{c}\frac{\partial {\mathbf{X}}^{-1}}{\partial X_i^{\cdot j}}=-{\mathbf{X}}^{-1}\frac{\partial \mathbf{X}}{\partial X_i^{\cdot j}}{\mathbf{X}}^{-1}\end{array}$$

$$\begin{array}{c}\frac{\partial {\left({\mathbf{X}}^{-1}\right)}_k^{\cdot l}}{\partial X_i^{\cdot j}}=-{\left({\mathbf{X}}^{-1}\right)}_k^{\cdot i}{\left({\mathbf{X}}^{-1}\right)}_j^{\cdot l}\end{array}$$

Proof: Considering the fact that ${\mathbf{X}}^{-1}\mathbf{X}=\mathbf{I}$, take derivative of the both sides,

$$\begin{array}{c}\frac{\partial {\mathbf{X}}^{-1}}{\partial X_i^{\cdot j}}\mathbf{X}+{\mathbf{X}}^{-1}\frac{\partial \mathbf{X}}{\partial X_i^{\cdot j}}=0\end{array}$$

$$\begin{array}{c}\begin{array}{rl}\frac{\partial {\left({\mathbf{X}}^{-1}\right)}_k^{\cdot l}}{\partial X_i^{\cdot j}}& ={\left(-{\mathbf{X}}^{-1}\frac{\partial \mathbf{X}}{\partial X_i^{\cdot j}}{\mathbf{X}}^{-1}\right)}_k^{\cdot l}\\ & =-{\left({\mathbf{X}}^{-1}\right)}_k^{\cdot s}{\left(\frac{\partial \mathbf{X}}{\partial X_i^{\cdot j}}\right)}_s^{\cdot t}{\left({\mathbf{X}}^{-1}\right)}_t^{\cdot l}\\ & =-{\left({\mathbf{X}}^{-1}\right)}_k^{\cdot s}\left(\frac{\partial X_s^{\cdot t}}{\partial X_i^{\cdot j}}\right){\left({\mathbf{X}}^{-1}\right)}_t^{\cdot l}\\ & =-{\left({\mathbf{X}}^{-1}\right)}_k^{\cdot s}{\delta }_{ij}^{st}{\left({\mathbf{X}}^{-1}\right)}_t^{\cdot l}=-{\left({\mathbf{X}}^{-1}\right)}_k^{\cdot i}{\left({\mathbf{X}}^{-1}\right)}_j^{\cdot l}\end{array}\end{array}$$

$\square$

Remark: 其中运用到了元素的求导是求导的元素，而$\frac{\partial {\left({\mathbf{X}}^{-1}\right)}_k^{\cdot l}}{\partial X_i^{\cdot j}}$是矩阵对矩阵的求导，因而求导结果是一个四阶张量。

Proposition:
Given $\mathbf{X}\in {\mathbb{R}}^{I\times I}$ invertible

$$\begin{array}{c}\frac{\partial Tr\left({\mathbf{AX}}^{-1}\mathbf{B}\right)}{\partial \mathbf{X}}=-{\mathbf{X}}^{-\top }{\mathbf{A}}^{\top }{\mathbf{B}}^{\top }{\mathbf{X}}^{-\top }\end{array}$$

Proof:

$$\frac{\partial A_r^{\cdot s}(X^{-1}{)}_s^{\cdot t}{B}_t^{\cdot r}}{\partial X_i^{\cdot j}}=-A_r^{\cdot s}(X^{-1}{)}_s^{\cdot i}(X^{-1}{)}_j^{\cdot t}{B}_t^{\cdot r}=-(X^{-\top }{)}_i^{\cdot s}(A^{\top }{)}_s^{\cdot r}(B^{\top }{)}_r^{\cdot t}(X^{-\top }{)}_t^{\cdot j}$$

$\square$

Proposition:

$$\begin{array}{c}\frac{\partial det\mathbf{X}}{\partial \mathbf{X}}=det\mathbf{X}\cdot ({\mathbf{X}}^{-\top })\end{array}$$

$$\begin{array}{c}\frac{\partial \log \left|det\mathbf{X}\right|}{\partial \mathbf{X}}={\mathbf{X}}^{-\top }\end{array}$$

Proof:

注意在此命题中并没有采用爱因斯坦求和记号,

$$\begin{array}{c}det\mathbf{X}=\sum _j{X}_{ij}{A}_{ij}\end{array}$$

where $A_{ij}$是$X_{ij}$的代数余子式. ${\mathbf{X}}^{\ast }$是$\mathbf{X}$的伴随矩阵,
有${\mathbf{X}}^{-1}=det\mathbf{X}({\mathbf{X}}^{\ast })$, $({\mathbf{X}}^{\ast }{)}^{\top }=\mathbf{A}$

$$\begin{array}{c}\begin{array}{rl}& \frac{\partial det\mathbf{X}}{\partial X_{ij}}=A_{ij}\Rightarrow \\ & \frac{\partial det\mathbf{X}}{\partial \mathbf{X}}=\mathbf{A}=({\mathbf{X}}^{\ast }{)}^{\top }=det\mathbf{X}\cdot ({\mathbf{X}}^{-\top })\end{array}\end{array}$$

Proposition:

$$\begin{array}{c}\frac{\partial det\left(\mathbf{AXB}\right)}{\partial \mathbf{X}}=det\left(\mathbf{AXB}\right)\cdot ({\mathbf{X}}^{-\top })\end{array}$$

Proof:

$$\begin{array}{c}\frac{\partial det\left(\mathbf{AXB}\right)}{\partial X_i^{\cdot j}}=\frac{\partial det\left(\mathbf{AXB}\right)}{\partial {\left(\mathbf{AXB}\right)}_k^{\cdot l}}\frac{\partial {\left(\mathbf{AXB}\right)}_k^{\cdot l}}{\partial X_i^{\cdot j}}=\dots \end{array}$$

参考文献

1. Matrix Cookbook
2. https://www.bilibili.com/video/BV18a411M7Jd/?spm_id_from=333.788&vd_source=107a981693181bff01f387d4a6c314c9