807补充（一）（矩阵微分篇）

注：在本文中不考虑复数矩阵的可能性，仅考虑实矩阵

符号约定

$\mathbf{X},\mathbf{A},\mathbf{B}$	矩阵	$\mathbf{F}(\cdot )$	输出为矩阵的函数
$\mathbf{x},\mathbf{y},\mathbf{z}$	向量	$\mathbf{f}(\cdot ),\mathbf{g}(\cdot )$	输出为向量的函数
$x,y$	标量	$f(\cdot )$	输出为标量的函数

注：如无特殊说明，本文中的向量都是列向量。
$$\mathbf{x}=[x_1,x_2,\cdots ,x_n{]}^T$$

一.矩阵的迹

$$\begin{array}{rl}& a=\mathrm{t}\mathrm{r}(a)\\ & \mathrm{t}\mathrm{r}(\mathbf{A})=\mathrm{t}\mathrm{r}({\mathbf{A}}^{\mathbf{T}})\\ & \mathrm{t}\mathrm{r}(\mathbf{A}\mathbf{B})=\mathrm{t}\mathrm{r}(\mathbf{B}\mathbf{A})\\ & \mathrm{t}\mathrm{r}(\mathbf{A}-\mathbf{B})=\mathrm{t}\mathrm{r}(\mathbf{A})-\mathrm{t}\mathrm{r}(\mathbf{B})\\ & \mathrm{t}\mathrm{r}(\mathbf{A}+\mathbf{B})=\mathrm{t}\mathrm{r}(\mathbf{A})+\mathrm{t}\mathrm{r}(\mathbf{B})\end{array}$$

二.范数

和标量不同，我们不能简单地按照元素大小来比较不同的向量和矩阵． 向量范数和矩阵范数给出了一种长度计量方式．

1.1 向量范数与内积

定义 1.1 (范数) 称一个从向量空间 ${\mathbb{R}}^n$ 到实数域 $\mathbb{R}$ 的非负函数 ∥ · ∥ 为 范数，如果它满足：

1. 正定性：对于所有的$\mathbf{v}\in {\mathbb{R}}^n，有||\mathbf{v}||\ge 0，且||\mathbf{v}||=0当且仅当\mathbf{v}=0$;
2. 齐次性：对于所有的 $\mathbf{v}\in {\mathbb{R}}^n和\alpha \in \mathbb{R}，有||\alpha \mathbf{v}||=|\alpha |\ast ||\mathbf{v}||$；
3. 三角不等式：对于所有的 $\mathbf{v}，\mathbf{w}\in {\mathbb{R}}^n，有||\mathbf{v}+\mathbf{w}||\le ||\mathbf{v}||+||\mathbf{w}||$;

最常用的向量范数为 $L_p$ 范数 ($p\ge 1$)
$$||\mathbf{v}|{|}_p=(|v_1{|}^p+|v_2{|}^p+\cdot \cdot \cdot +|v_n{|}^p{)}^{\frac{1}{p}}$$
当 $p=\infty$ 时，$L_{\infty }$ 范数定义为
$$||\mathbf{v}|{|}_{\infty }=ma{x}_i|v_i|$$
当$p=0$时，$L_0$范数的定义为向量中非零元素的个数，注意0范数并不是一个范数，$L_0$范数并不满足这三条性质中的齐次性,它只是一种虚拟的范数。

其中 $p=1,2,\infty$ 的情形最重要，分别记为$||\cdot |{|}_1$, $||\cdot |{|}_2$ 和$||\cdot |{|}_{\infty }$．在不引起歧义的情况下，我们有时省略 $L_2$范数的角标，记为 $||\cdot ||$．在最优化问题算法构造和分析中，也常常遇到由正定矩阵 $\mathbf{A}$ 诱导的范数，即 $||\mathbf{x}|{|}_{\mathbf{A}}\stackrel{def}{=}\sqrt{{\mathbf{x}}^T\mathbf{A}\mathbf{x}}$． 根据正定矩阵的定义，很容易验证$||\cdot |{|}_{\mathbf{A}}$ 定义了一个范数．

$$n阶向量\mathbf{x}与\mathbf{y}$$之间的内积定义为
$$⟨\mathbf{x},\mathbf{y}⟩\stackrel{def}{=}{\mathbf{x}}^T\mathbf{y}$$
称为典范内积。另外还可采用加权内积
$$⟨\mathbf{x},\mathbf{y}⟩\stackrel{def}{=}{\mathbf{x}}^T\mathbf{A}\mathbf{y}$$
其中加权矩阵$\mathbf{A}$是正定矩阵，即满足${\mathbf{x}}^T\mathbf{A}\mathbf{x}>0，\forall \mathbf{x}\ne 0$

1.2矩阵向量化

矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$的向量化$\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A})$是一线性变化，他将矩阵$\mathbf{A}=[a_{i,j}]$的元素按列堆栈，排列成一个$mn\times 1$的向量
$$\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A})=[a_{11},\cdots ,a_{m,1},\cdots ,a_{1,n},\cdots ,a_{m,n}{]}^T$$
矩阵也可按列堆栈，排列成一个$1\times mn$的向量
$$\mathrm{r}\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A})=[a_{11},\cdots ,a_{m,1},\cdots ,a_{1,n},\cdots ,a_{m,n}]$$
显然，矩阵的向量化和行向量化之间存在如下关系
$$\mathbf{r}\mathbf{v}\mathbf{e}\mathbf{c}(\mathbf{A})=(\mathrm{v}\mathrm{e}\mathrm{c}({\mathbf{A}}^{\mathrm{T}}){)}^T$$
显然对于一个$m\times n$矩阵，向量$\mathrm{v}\mathrm{e}\mathrm{c}({\mathbf{A}}^{\mathrm{T}})$与$\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A})$含有相同的元素，但是排列次序不同，因此存在一个唯一的$mn\times mn$置换矩阵，可以将一个矩阵的向量化变换为其转置矩阵的向量化。这一置换矩阵称为交换矩阵，记作${\mathbf{K}}_{mn}$定义为
$${\mathbf{K}}_{mn}\mathrm{v}\mathrm{e}\mathrm{c}(\mathrm{A})=\mathrm{v}\mathrm{e}\mathrm{c}({\mathrm{A}}^{\mathrm{T}})$$
类似地，可以将转置矩阵的向量化$\mathrm{v}\mathrm{e}\mathrm{c}({\mathrm{A}}^{\mathrm{T}})$变换为原矩阵的向量化$\mathrm{v}\mathrm{e}\mathrm{c}(\mathrm{A})$的交换矩阵是一个$nm\times nm$置换矩阵，记作${\mathbf{K}}_{nm}$,定义为
$${\mathbf{K}}_{nm}\mathrm{v}\mathrm{e}\mathrm{c}({\mathrm{A}}^{\mathrm{T}})=\mathrm{v}\mathrm{e}\mathrm{c}(\mathrm{A})$$

$mn\times mn$交换矩阵${\mathbf{K}}_{mn}$具有以下常用性质
$$\begin{array}{rl}(1)& {\mathbf{K}}_{mn}\mathrm{v}\mathrm{e}\mathrm{c}(\mathrm{A})=\mathrm{v}\mathrm{e}\mathrm{c}({\mathrm{A}}^{\mathrm{T}})和{\mathbf{K}}_{nm}\mathrm{v}\mathrm{e}\mathrm{c}({\mathrm{A}}^{\mathrm{T}})=\mathrm{v}\mathrm{e}\mathrm{c}(\mathrm{A})\\ (2)& {\mathbf{K}}_{mn}^{-1}={\mathbf{K}}_{nm}\\ (3)& {\mathbf{K}}_{mn}^T={\mathbf{K}}_{nm}\\ (4)& {\mathbf{K}}_{1n}={\mathbf{K}}_{n1}={\mathbf{I}}_n\end{array}$$

1.3矩阵范数与内积

将向量的内积与范数定义推广即可得出矩阵范数与内积。令矩阵$A=[{\mathbf{a}}_1,\cdots ,{\mathbf{a}}_n]，B=[{\mathbf{b}}_1,\cdots ,{\mathbf{b}}_n]\in {\mathbb{R}}^{m\times n}$将这两个矩阵分别拉长为$mn\times 1$的向量。
$$\begin{gathered} \mathbf{a}=\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A})=\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ \cdots \\ a_{mn}\end{array}\right] \\ \mathbf{b}=\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{B})=\left[\begin{array}{c}{b}_{11}\\ b_{12}\\ \cdots \\ b_{mn}\end{array}\right] \end{gathered}$$
矩阵的内积记作$⟨\mathbf{A},\mathbf{B}⟩$,定义为两拉长向量的内积
$$⟨\mathbf{A},\mathbf{B}⟩=⟨\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A}),\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{B})⟩=\mathrm{t}\mathrm{r}({\mathbf{A}}^T\mathbf{B})=\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A}{)}^T\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{B})$$

定义 1.2 (范数) 称一个从矩阵空间 ${\mathbb{R}}^{m\times n}$ 到实数域 $\mathbb{R}$ 的非负函数 ∥ · ∥ 为 范数，如果它满足：

1. 正定性：对于所有的$\mathbf{A}\in {\mathbb{R}}^n，有||\mathbf{A}||\ge 0，且||\mathbf{A}||=0当且仅当\mathbf{A}=0$;
2. 齐次性：对于所有的 $\mathbf{A}\in {\mathbb{R}}^n和\alpha \in \mathbb{R}，有||\alpha \mathbf{A}||=|\alpha |\ast ||\mathbf{A}||$；
3. 三角不等式：对于所有的 $\mathbf{A}，\mathbf{B}\in {\mathbb{R}}^{m\times n}，有||\mathbf{A}+\mathbf{B}||\le ||\mathbf{A}||+||\mathbf{B}||$;
4. 两个矩阵乘积的范数小于等于两个矩阵范数的乘积：$||\mathbf{A}\mathbf{B}||\le ||\mathbf{A}||\ast ||\mathbf{B}||$

利用矩阵向量化算子$\mathrm{v}\mathrm{e}\mathrm{c}$,向量的 $L_P$ 范数可以比较容易地推广到矩阵 的 $L_P$范数，常用 p = 1, 2 的情形

当 p = 1 时，矩阵 $\mathbf{A}\in R^{m\times n}的L_1$ 范 数定义为
$$||\mathbf{A}|{|}_1=\sum _{i,j}|a_{i,j}|$$
即 $||\mathbf{A}|{|}_1$ 为$\mathbf{A}$中所有元素绝对值的和

当 p = 2 时，此时得到的是矩阵的 $Frobenius$范数（下称 F 范数），记为 $||A|{|}_F$．它可以看成是向量的$L_2$ 范数的 推广，即所有元素平方和开根号：
$$||\mathbf{A}|{|}_F=\sqrt{Tr({\mathbf{A}}^T\mathbf{A})}=\sqrt{\sum _{i,j}{a}_{i,j}^2}$$
除了从向量范数直接推广以外，矩阵范数还可以由向量范数诱导出来， 一般称这种范数为算子范数.定义为
$$||\mathbf{A}|{|}_P\stackrel{def}{=}max\frac{||\mathbf{A}\mathbf{x}|{|}_P}{||\mathbf{x}|{|}_P}$$
利用拉格朗日乘子即可解出

这两种定义得出的结果是相同的。

三.梯度

定义 2.2 (梯度) 给定函数 $f:{\mathbf{R}}^n\to \mathbf{R}$，且 $f$ 在点$\mathbf{x}$ 的一个邻域内有意 义，若存在向量 $g\in {\mathbf{R}}^n$ 满足
$${\mathrm{l}\mathrm{i}\mathrm{m}}_{p\to 0}\frac{f(\mathbf{x}+\mathbf{p})-f(\mathbf{x})-{\mathbf{g}}^T\mathbf{p}}{||\mathbf{p}||}=0$$
其中 $||\cdot ||$ 是任意的向量范数，就称 $f$ 在点$\mathbf{x}$ 处可微（或 Frechet 可微）．此 时 $g$ 称为 $f$ 在点$\mathbf{x}$ 处的梯度，记作 $\nabla f(\mathbf{x})$．如果对区域 D 上的每一个点$\mathbf{x}$ 都有$\nabla f(\mathbf{x})$ 存在，则称 $f$ 在 D 上可微．

若 $f$ 在点 $\mathbf{x}$ 处的梯度存在，令 $\mathbf{p}=ϵ{\mathbf{e}}_i$，${\mathbf{e}}_i$ 是第 $i$ 个分量 为 1 的单位向量，可知 $\nabla f(\mathbf{x})$ 的第 $i$ 个分量为$\frac{\partial f(\mathbf{x})}{\partial x_i}$ ．因此
$$\nabla f(\mathbf{x})=[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\cdots ,\frac{\partial f(\mathbf{x})}{\partial x_i}{]}^T$$
在实际应用中，矩阵 Frechet 可微的定义和使用往往比较繁琐，为此我 们需要介绍另一种定义——Gateaux 可微.

(Gateaux 可微)给定函数 $f:{\mathbf{R}}^n\to \mathbf{R}$，且 $f$ 在点$\mathbf{x}$ 的一个邻域内有意 义，若存在向量 $g\in {\mathbf{R}}^n,t\in \mathbb{R}$ 满足
$${\mathrm{l}\mathrm{i}\mathrm{m}}_{t\to 0}=\frac{f(\mathbf{x}+t\mathbf{v})-f(\mathbf{x})-t⟨\mathbf{v},\mathbf{g}⟩}{t}=0$$
则称 $f$ 关于 $\mathbf{x}$ 是 Gateaux 可微的．满足上式的 $\mathbf{g}$ 称为 $f$ 在$\mathbf{x}$ 处在 Gateaux 可微意义下的梯度。

把向量变元$\mathbf{x}$推广至矩阵变元$\mathbf{X}$上述式子依旧成立

从二者定义容易看出，若 f 是 Frechet 可微的， 则 f 也是 Gateaux 可微的，且二者意义下的梯度相等．但这一命题反过来不一定成立。一般认为我们研究的函数是一个"好函数"，在此条件下二者的梯度相等。

例：

1. $f(\mathbf{X})=Tr(\mathbf{A}{\mathbf{X}}^T\mathbf{B})$
   $$\begin{array}{rl}& \mathrm{l}\mathrm{i}{\mathrm{m}}_{\mathrm{t}\to 0}\frac{\mathrm{t}\mathrm{r}(\mathbf{A}(\mathbf{X}+t\mathbf{V}{)}^T\mathbf{B})-\mathrm{t}\mathrm{r}(\mathbf{A}{\mathbf{X}}^T\mathbf{B})}{t}\\ & =\mathrm{t}\mathrm{r}(\mathbf{A}{\mathbf{V}}^T\mathbf{B})\\ & =⟨BA,V⟩\end{array}$$
   ​ 因此，$\nabla f(\mathbf{X})=\mathbf{B}\mathbf{A}$

2. $f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}$
   $$\begin{array}{rl}& \mathrm{l}\mathrm{i}{\mathrm{m}}_{\mathrm{t}\to 0}\frac{{\mathbf{w}}^T(\mathbf{x}+t\mathbf{v})-{\mathbf{w}}^T\mathbf{x}}{t}\\ & ={\mathbf{w}}^T\mathbf{v}\\ & =⟨\mathbf{w},\mathbf{v}⟩\end{array}$$
   因此，$\nabla f(\mathbf{x})=\mathbf{w}$

3. $f(\mathbf{X})=\ln (\det (\mathbf{X}))$,其中$\mathbf{X}$是正定矩阵

$$\begin{array}{rl}f(\mathbf{X}+t\mathbf{V})-f(\mathbf{X})& =\ln (\det (\mathbf{X}+t\mathbf{V}))-\ln (\det (\mathbf{X}))\\ & =\ln (\det ({\mathbf{X}}^{1/2}(\mathbf{I}+t{\mathbf{X}}^{-1/2}\mathbf{V}{\mathbf{X}}^{-1/2}){\mathbf{X}}^{1/2}))-\ln (\det (X))\\ & =\ln (\det (\mathbf{I}+t{\mathbf{X}}^{-1/2}\mathbf{V}{\mathbf{X}}^{-1/2}))\\ & 为使\mathbf{X}+t\mathbf{V}为正定矩阵，则\mathbf{V}必为对称矩阵，则{\mathbf{X}}^{-1/2}\mathbf{V}{\mathbf{X}}^{-1/2}是对称矩阵，所以它可以正交对角化，不妨设它的特征值为{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n．，则\\ & =\ln \prod _{i=1}^n(1+t{\lambda }_i)\\ & =\sum _{i=1}^n\ln (1+t{\lambda }_i)\\ & =\sum _{i=1}^{n}t{\lambda }_i+O(t^2)\\ & =t\ast \mathrm{t}\mathrm{r}({\mathbf{X}}^{-1/2}\mathbf{V}{\mathbf{X}}^{-1/2})+O(t^2)\\ & =t⟨({\mathbf{X}}^{-1}{)}^T,V⟩+O(t^2)\end{array}$$

​ 因此，$\nabla f(\mathbf{X})=(X^{-1}{)}^T$

设$f:{\mathbb{R}}^n\to \mathbb{R}$是连续可微的，$\mathbf{p}\in {\mathbb{R}}^n$ 为向量，那么
$$f(\mathbf{x}+\mathbf{p})=f(\mathbf{x})+\nabla f(\mathbf{x}+t\mathbf{p}{)}^T\mathbf{p},$$
进一步地，如果$f$ 是二阶连续可微的，则
$$f(\mathbf{x}+\mathbf{p})=f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T\mathbf{p}+\frac{1}{2}{\mathbf{p}}^T{\nabla }^{2}f(\mathbf{x}+t\mathbf{p})\mathbf{p},$$
其中$0<t<1$

四.海瑟矩阵

如果函数 $f(x):{\mathbb{R}}^n\to \mathbb{R}$ 在点 $\mathbf{x}$ 处的二阶偏导数 $\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}i,j=1,2,\cdot \cdot \cdot ,n$都存在，则
$${\nabla }^{2}f(\mathbf{x})=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1^2}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f(\mathbf{x})}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f(\mathbf{x})}{{\partial }^2{x}_n}\end{array}\right]$$
称为 $f$ 在点 $\mathbf{x}$ 处的海瑟矩阵,可以看出海瑟矩阵是一个对称矩阵