807补充（二）（矩阵微分篇）

注：在本文中不考虑复数矩阵的可能性，仅考虑实矩阵

符号约定

$\mathbf{X},\mathbf{A},\mathbf{B}$	矩阵	$\mathbf{F}(\cdot )$	输出为矩阵的函数
$\mathbf{x},\mathbf{y},\mathbf{z}$	向量	$\mathbf{f}(\cdot ),\mathbf{g}(\cdot )$	输出为向量的函数
$x,y$	标量	$f(\cdot )$	输出为标量的函数

在上篇中我们使用定义计算了矩阵函数的梯度，并且给出了多元函数二阶导海瑟矩阵的表达式，但是在实际在计算中还是略微繁琐，在本文中将给出计算梯度标准型。

一.矩阵的Hadamard积

$m\times n$矩阵$\mathbf{A}=[a_{ij}]$与$m\times n$矩阵$\mathbf{B}=[b_{ij}]$的Hadamard积记作$\mathbf{A}\odot \mathbf{B}$，它仍然是一个$m\times n$矩阵，其元素定义为两个矩阵对应元素的乘积。
$$(\mathbf{A}\odot \mathbf{B}{)}_{ij}=a_{ij}{b}_{ij}$$
即Hadamard积是一映射${\mathbb{R}}^{m\times n}\times {\mathbb{R}}^{m\times n}\to {\mathbb{R}}^{m\times n}$

Hadamard积的一些性质如下。
$$\begin{array}{rl}& (1)(\mathbf{A}\odot \mathbf{B}{)}^T={\mathbf{A}}^T\odot {\mathbf{B}}^T\\ & (2)c(\mathbf{A}\odot \mathbf{B})=(c\mathbf{A})\odot \mathbf{B}=\mathbf{A}\odot (c\mathbf{B})\\ & (3)\mathbf{A}\odot \mathbf{B}=\mathbf{B}\odot \mathbf{A}\\ & (4)若m\times m矩阵\mathbf{A},\mathbf{B}是正定(或者半正定)的，则它们的Hadamard积也是正定(或半正定)的。\\ & (5)\mathrm{t}\mathrm{r}({\mathbf{A}}^T(\mathbf{B}\odot \mathbf{C}))=\mathrm{t}\mathrm{r}(({\mathbf{A}}^T\odot {\mathbf{B}}^T)\mathbf{C})\\ & (6)\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{A}\odot \mathbf{X})=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{A})\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{X})\end{array}$$

二.矩阵的Kronecker积

两个矩阵的Kronecker积分为左Kronecker积和右Kronecker积。

$m\times n$矩阵$\mathbf{A}=[a_{ij}]$与$p\times q$矩阵$\mathbf{B}=[b_{ij}]$的右Kronecker积记作$\mathbf{A}\otimes \mathbf{B}$，它是一个$mp\times nq$矩阵，定义为
$$\mathbf{A}\otimes \mathbf{B}=[a_{ij}\mathbf{B}{]}_{i=1,j=1}^{m,n}=\left[\begin{array}{cccc}{a}_{11}\mathbf{B}& a_{12}\mathbf{B}& \cdots & a_{1n}\mathbf{B}\\ a_{21}\mathbf{B}& a_{22}\mathbf{B}& \cdots & a_{2n}\mathbf{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}\mathbf{B}& a_{m2}\mathbf{B}& \cdots & a_{mn}\mathbf{B}\end{array}\right]$$

$m\times n$矩阵$\mathbf{A}=[a_{ij}]$与$p\times q$矩阵$\mathbf{B}=[b_{ij}]$的左Kronecker积记作$[\mathbf{A}\otimes \mathbf{B}{]}_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}}$，它是一个$mp\times nq$矩阵，定义为
$$[\mathbf{A}\otimes \mathbf{B}{]}_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}}=[b_{ij}\mathbf{A}{]}_{i=1,j=1}^{m,n}=\left[\begin{array}{cccc}{b}_{11}\mathbf{A}& b_{12}\mathbf{A}& \cdots & b_{1n}\mathbf{A}\\ b_{21}\mathbf{A}& b_{22}\mathbf{A}& \cdots & b_{2n}\mathbf{A}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}\mathbf{A}& b_{m2}\mathbf{A}& \cdots & b_{mn}\mathbf{A}\end{array}\right]$$
显然，矩阵的左Kronecker积可以用右Kronecker积表示。默认都采用右Kronecker积表示Kronecker积。

Kronecker积有以下常用性质
$$\begin{array}{rl}& (1)\mathbf{A}\otimes \mathbf{B}\ne \mathbf{B}\otimes \mathbf{A}\\ & (2)\alpha \mathbf{A}\otimes \beta B=\alpha \beta (\mathbf{A}\otimes \mathbf{B})\\ & (3)(\mathbf{A}\mathbf{B})\otimes (\mathbf{C}\mathbf{D})=(\mathbf{A}\otimes \mathbf{C})(\mathbf{B}\otimes \mathbf{D})\\ & (4)(\mathbf{A}\otimes \mathbf{B}{)}^T={\mathbf{A}}^T\otimes {\mathbf{B}}^T\\ & (5)(\mathbf{A}\otimes \mathbf{B}{)}^{-1}={\mathbf{A}}^{-1}\otimes {\mathbf{B}}^{-1}\\ & (6)\mathbf{v}\mathbf{e}\mathbf{c}(\mathbf{A}\mathbf{X}\mathbf{B})=({\mathbf{B}}^T\otimes \mathbf{A})\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{X})\\ & (7)\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{a}{\mathbf{b}}^T)=\mathbf{b}\otimes \mathbf{a}\end{array}$$

三.逐元素函数

假设一个函数$f(x)$的输出是标量$x$,对于一组$K$个标量$x_1,x_2,\cdots ,x_k$我们可以通过$f(x)$得到另外一组$K$个标量$z_1,z_2,z_3,\cdots ,z_k$。
$$z_k=f(x_k),\forall k=1,\cdots ,K$$
我们定义$\mathbf{x}=[x_1,\cdots ,x_k{]}^T,\mathbf{z}=[z_1,\cdots ,z_k{]}^T$。
$$\mathbf{z}=\mathbf{f}(\mathbf{x})$$
其中$f(x)$是按位运算，即$[\mathbf{f}(\mathbf{x}){]}_k=f(x_k)$。这样的函数就是逐元素函数，将向量变元推广至矩阵变元也成立。

当$x$为标量时，$f(x)$的导数记为$f^{\prime }(x)$，当输入为K维向量$\mathbf{x}=[x_1,\cdots ,x_k{]}^T$时，其导数为一个对角阵。
$$\begin{array}{rl}\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}& =\left[\begin{array}{cccc}{f}^{\prime }(x_1)& 0& \cdots & 0\\ 0& f^{\prime }(x_2)& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & f^{\prime }(x_k)\end{array}\right]\\ & \\ & =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mathbf{f}}^{\prime }(\mathbf{x}))\end{array}$$

四.实值函数的微分标准型

矩阵微分用符号$\mathrm{d}\mathbf{X}$表示，定义为$\mathrm{d}\mathbf{X}\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}[\mathrm{d}{x}_{ij}{]}_{i=1,j=1}^{m,n}$

下面是矩阵微分常用的性质。
$$\begin{array}{rl}& (1)\mathrm{d}(\mathrm{t}\mathrm{r}(\mathbf{X}))=\mathrm{t}\mathrm{r}(\mathrm{d}(\mathbf{X}))\\ & (2)\mathrm{d}(\mathbf{X}\mathbf{Y})=(\mathrm{d}\mathbf{X})\mathbf{Y}+\mathbf{X}(\mathrm{d}\mathbf{Y})\\ & (3)\mathrm{d}(\mathbf{X}{)}^T=(\mathrm{d}\mathbf{X}{)}^T\\ & (4)\mathrm{d}(\alpha \mathbf{X}+\beta \mathbf{Y})=\alpha \mathrm{d}\mathbf{X}+\beta \mathrm{d}\mathbf{Y}\\ & (5)常数矩阵的微分为0\mathrm{d}(\mathbf{A})=0\\ & (6)\mathrm{d}{\mathbf{X}}^{-1}=-{\mathbf{X}}^{-1}\mathrm{d}\mathbf{X}{\mathbf{X}}^{-1}可对\mathbf{I}两边求微分得出\\ & (7)\mathrm{d}|\mathrm{X}|=|\mathbf{X}|\mathrm{t}\mathrm{r}({\mathbf{X}}^{-1}\mathrm{d}\mathbf{X})可用Laplace展开证明\\ & (8)\mathrm{d}(\mathbf{X}\odot \mathbf{Y})=(\mathrm{d}\mathbf{X})\odot \mathbf{Y}+\mathbf{X}\odot (\mathrm{d}\mathbf{Y})\\ & (9)\mathrm{d}(\mathbf{X}\otimes \mathbf{Y})=(\mathrm{d}\mathbf{X})\otimes \mathbf{Y}+\mathbf{X}\otimes (\mathrm{d}\mathbf{Y})\\ & (10)\mathrm{d}(\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{X}))=\mathrm{v}\mathrm{e}\mathrm{c}(\mathrm{d}\mathbf{X})\\ & (11)\mathrm{d}\log \mathbf{X}={\mathbf{X}}^{-1}\mathrm{d}\mathbf{X}\\ & (12)\mathrm{d}\mathbf{f}(\mathbf{X})={\mathbf{f}}^{\prime }(\mathbf{X})\odot \mathrm{d}\mathbf{X}(\mathbf{f}是逐元素函数)\end{array}$$
考虑实值标量函数$f(\mathbf{x})$,其全微分形式为
$$\begin{array}{rl}\mathrm{d}f& =\frac{\partial f}{\partial x_1}\mathrm{d}{x}_1+\frac{\partial f}{\partial x_2}\mathrm{d}{x}_2+\cdots +\frac{\partial f}{\partial x_n}\mathrm{d}{x}_n\\ & =[\frac{\partial f}{\partial x_1},\cdots ,\frac{\partial f}{\partial x_n}]\left[\begin{array}{c}\mathrm{d}{x}_1\\ ⋮\\ \mathrm{d}{x}_n\end{array}\right]\\ & =(\frac{\partial f}{\partial \mathbf{x}}{)}^T\mathrm{d}\mathbf{x}\end{array}$$
进一步考察标量函数$f(\mathbf{X})$，其变元为$m\times n$矩阵$\mathbf{X}$,由全微分形式易证
$$\begin{array}{rl}\mathrm{d}f& =\frac{\partial f}{\partial x_{11}}\mathrm{d}{x}_{11}+\frac{\partial f}{\partial x_{12}}\mathrm{d}{x}_{12}+\cdots +\frac{\partial f}{\partial x_{mn}}\mathrm{d}{x}_{mn}\\ & =[\frac{\partial f}{\partial x_{11}},\cdots ,\frac{\partial f}{\partial x_{mn}}]\left[\begin{array}{c}\mathrm{d}{x}_{11}\\ ⋮\\ \mathrm{d}{x}_{mn}\end{array}\right]\\ & =(\frac{\partial f}{\partial \mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{X})}{)}^T\mathrm{d}\mathrm{v}\mathrm{e}\mathrm{c}(\mathbf{X})\\ & =(\mathrm{v}\mathrm{e}\mathrm{c}(\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}){)}^T\mathrm{d}(\mathrm{v}\mathrm{e}\mathrm{c}\mathbf{X})与矩阵内积的形式一致\\ & =\mathrm{t}\mathrm{r}((\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}{)}^T\mathrm{d}\mathbf{X})\end{array}$$
由此得出以下重要结论
$$\begin{gathered} \mathrm{d}f(\mathbf{x})=(\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}{)}^T\mathrm{d}\mathbf{x} \\ \mathrm{d}f(\mathbf{X})=\mathrm{t}\mathrm{r}((\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}{)}^T\mathrm{d}\mathbf{X}) \end{gathered}$$
即只要找到$\mathrm{d}f(\mathbf{x})$和$\mathrm{d}\mathbf{x}$之间的关系即可得出函数的梯度

例

1. $y={\mathbf{a}}^T\mathbf{X}\mathbf{b}$
   $$\begin{array}{rl}\mathrm{d}y& =\mathrm{d}({\mathbf{a}}^T)\mathbf{X}\mathbf{b}+{\mathbf{a}}^T\mathrm{d}(\mathbf{X}\mathbf{b})\\ & ={\mathbf{a}}^T(\mathrm{d}\mathbf{X})\mathbf{b}\\ & =\mathrm{t}\mathrm{r}({\mathbf{a}}^T(\mathrm{d}\mathbf{X})\mathbf{b})\\ & =\mathrm{t}\mathrm{r}(\mathbf{b}{\mathbf{a}}^T(\mathrm{d}\mathbf{X}))\end{array}$$
   所以$\frac{\partial y}{\partial \mathbf{X}}=(\mathbf{b}{\mathbf{a}}^T{)}^T=\mathbf{a}{\mathbf{b}}^T$

2. 方差的最大似然估计,随机变量$\mathbf{x}$服从$\mathcal{N}(\mu ,\mathbf{\Sigma })$,现有样本${\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3,\cdots ,{\mathbf{x}}_n$,求协方差矩阵的最大似然估计。

   对数似然函数为
   $$L=\log |\mathbf{\Sigma }|+\frac{1}{N}\sum _i^N({\mathbf{x}}_i-\mu {)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_i-\mu )$$

   $$\begin{array}{rl}\mathrm{d}L& =\frac{1}{|\mathbf{\Sigma }|}\mathrm{d}|\mathbf{\Sigma }|+\frac{1}{N}\sum _i^N({\mathbf{x}}_i-\mu {)}^T(\mathrm{d}{\mathbf{\Sigma }}^{-1})({\mathbf{x}}_i-\mu )\\ & =\mathrm{t}\mathrm{r}({\mathbf{\Sigma }}^{-1}\mathrm{d}\mathbf{\Sigma })-\frac{1}{N}\sum _i^N({\mathbf{x}}_i-\mu {)}^T({\mathbf{\Sigma }}^{-1}\mathrm{d}\mathbf{\Sigma }{\mathbf{\Sigma }}^{-1})({\mathbf{x}}_i-\mu )\\ & =\mathrm{t}\mathrm{r}({\mathbf{\Sigma }}^{-1}\mathrm{d}\mathbf{\Sigma })-\frac{1}{N}\mathrm{t}\mathrm{r}(\sum _i^N(({\mathbf{x}}_i-\mu )({\mathbf{x}}_i-\mu {)}^T{\mathbf{\Sigma }}^{-2}\mathrm{d}\mathbf{\Sigma })\\ & =\mathrm{t}\mathrm{r}(({\mathbf{\Sigma }}^{-1}-\frac{1}{N}\sum _i^N(({\mathbf{x}}_i-\mu )({\mathbf{x}}_i-\mu {)}^T{\mathbf{\Sigma }}^{-2})\mathrm{d}\mathbf{\Sigma })\end{array}$$
   所以要使$\nabla L=0$应使
   $$\mathbf{\Sigma }=\frac{1}{N}\sum _i^N(({\mathbf{x}}_i-\mu )({\mathbf{x}}_i-\mu {)}^T$$

3. 最二乘估计。$L=||\mathbf{X}\mathbf{w}-\mathbf{y}|{|}^2$
   $$\begin{array}{rl}\mathrm{d}L& =\mathrm{d}[(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}\mathbf{w}-\mathbf{y})]\\ & =2(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T\mathrm{d}\mathbf{w}\end{array}$$

   所以$\nabla L=2\mathbf{X}(\mathbf{X}\mathbf{w}-\mathbf{y})$,为使梯度为零，即可解出

五.复杂函数的导数

假设$\mathbf{Y}$是关于$\mathbf{X}$的函数，若已经求出目标函数$f$关于$\mathbf{Y}$的梯度，依靠微分标准型即可得出目标函数$f$关于$\mathbf{X}$的梯度。

例

1. $f=f(\mathbf{Y})$,$\mathbf{Y}=\mathbf{B}\mathbf{X}$
   $$\begin{array}{rl}\mathrm{d}f& =\mathrm{t}\mathrm{r}((\frac{\partial f}{\partial \mathbf{Y}}{)}^T\mathrm{d}\mathbf{Y})\\ & =\mathrm{t}\mathrm{r}((\frac{\partial f}{\partial \mathbf{Y}}{)}^T\mathrm{d}(\mathbf{B}\mathbf{X}))\\ & =\mathrm{t}\mathrm{r}((\frac{\partial f}{\partial \mathbf{Y}}{)}^T\mathbf{B}\mathrm{d}\mathbf{X})\\ & =\mathrm{t}\mathrm{r}((\frac{\partial f}{\partial \mathbf{X}}{)}^T\mathrm{d}\mathbf{X})\end{array}$$
   即可得出$\frac{\partial f}{\partial \mathbf{X}}={\mathbf{B}}^T\frac{\partial f}{\partial \mathbf{Y}}$

   ​

易证以下常用结论

1. $若\mathbf{x}\in R^m,\mathbf{y}=\mathbf{f}(\mathbf{x})\in R^n,\mathbf{z}=\mathbf{g}(\mathbf{x})\in R^n则$
   $$\frac{\partial {\mathbf{y}}^T\mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\mathbf{z}+\frac{\partial \mathbf{z}}{\partial \mathbf{x}}\mathbf{y}\in R^m\text{\hspace{1em}(3-3)}$$

2. $若\mathbf{x}\in R^m,y=f(\mathbf{x})\in R,\mathbf{z}=\mathbf{g}(\mathbf{x})\in R^n则$
   $$\frac{\partial y\mathbf{z}}{\partial \mathbf{x}}=\frac{\partial y}{\partial \mathbf{x}}{\mathbf{z}}^T+\frac{\partial \mathbf{z}}{\partial \mathbf{x}}y\in R^{m\times n}\text{\hspace{1em}(3-5)}$$

3. $若\mathbf{x}\in R^m,\mathbf{y}=\mathbf{f}(\mathbf{x})\in R^n,\mathbf{z}=\mathbf{g}(\mathbf{y})\in R^k则$

   $$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\in R^{m\times k}\text{\hspace{1em}(3-2)}$$

4. 若$f(\mathbf{X}),g(\mathbf{X})$都是矩阵$\mathbf{X}$的实值函数，则
   $$\frac{\partial [f(\mathbf{X})g(\mathbf{X})]}{\partial \mathbf{X}}=f(\mathbf{X})\frac{\partial g(\mathbf{X})}{\partial \mathbf{X}}+g(\mathbf{X})\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}$$

5. 若$g(\mathbf{X})\ne 0$
   $$\frac{\partial [f(\mathbf{X})/g(\mathbf{X})]}{\partial \mathbf{X}}=\frac{1}{g(\mathbf{X}{)}^2}[g(\mathbf{X})\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}-f(\mathbf{X})\frac{\partial g(\mathbf{X})}{\partial \mathbf{X}}]$$

6. $$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{y}}{\partial \mathbf{x}}\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\in R^{m\times k}\text{\hspace{1em}(3-2)}$$
   注意顺序是否颠倒（如果顺序不对则维度不匹配无法相乘）。

六.激活函数的导数

1. $\mathbf{y}=\frac{1}{1+\exp (-\mathbf{x})}$

   标准的标量Sigmod函数的导数为。
   $$f^{\prime }(x)=f(x)(1-f(x))$$
   当输入为$K$维向量时，其导数为
   $$\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(f(\mathbf{x})\odot (1-f(\mathbf{x})))$$

2. Softmax函数的导数。

   Softmax函数定义为
   $$z_k=\mathrm{s}\mathrm{f}\mathrm{o}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathrm{x}}_{\mathrm{k}})=\frac{\exp (x_k)}{{\sum }_{i=1}^K\exp (x_i)}$$
   用$K$维向量$\mathbf{x}=[x_1,\cdots ,x_k{]}^T$来表示Softmax函数的输入，
   $$\begin{array}{rl}\mathbf{z}& =\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{x})\\ & =\frac{1}{{\sum }_{i=1}^K\exp (x_k)}\left[\begin{array}{c}\exp (x_1)\\ \exp (x_2)\\ ⋮\\ \exp (x_k)\end{array}\right]\\ & =\frac{\exp (\mathbf{x})}{1_K^T\exp (\mathbf{x})}\end{array}$$
   Softmax函数的导数为
   $$\begin{array}{rl}\frac{\partial \mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{x})}{\partial \mathbf{x}}& =\frac{\partial \frac{\exp (\mathbf{x})}{1_K^T\exp (\mathbf{x})}}{\partial \mathbf{x}}\\ & \\ & =\frac{1}{1_k^T\exp (\mathbf{x})}\frac{\partial \exp (\mathbf{x})}{\partial \mathbf{x}}+\frac{\partial \frac{1}{1_k^T\exp (\mathbf{x})}}{\partial \mathbf{x}}(\exp (\mathbf{x}){)}^T\\ & \\ & =\frac{\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\exp (\mathbf{x}))}{1_k^T\exp (\mathbf{x})}-(\frac{1}{(1_K^T\exp (\mathbf{x}){)}^2})\frac{(\partial 1_K^T\exp (\mathbf{x}))}{\partial \mathbf{x}}(\exp (\mathbf{x}){)}^T\\ & \\ & =\frac{\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\exp (\mathbf{x}))}{1_k^T\exp (\mathbf{x})}-(\frac{1}{(1_K^T\exp (\mathbf{x}){)}^2})\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\exp (\mathbf{x}))1_K^T(\exp (\mathbf{x}){)}^T\\ & \\ & =\frac{\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\exp (\mathbf{x}))}{1_k^T\exp (\mathbf{x})}-(\frac{1}{(1_K^T\exp (\mathbf{x}){)}^2})\exp (\mathbf{x})(\exp (\mathbf{x}){)}^T\\ & \\ & =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\frac{\exp (\mathbf{x})}{1_{\mathrm{K}}^{\mathrm{T}}\exp \mathbf{x}})-\frac{\exp (\mathbf{x})}{1_K^T\exp (\mathbf{x})}\frac{(\exp (\mathbf{x}){)}^T}{1_K^T\exp (\mathbf{x})}\\ & \\ & =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{x}))-\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{x}){\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{x})}^T\end{array}$$

七.多层感知机反向传播

已知${\mathbf{a}}^d,{\mathbf{z}}^d,{\mathbf{W}}^d,{\mathbf{b}}^d,\mathbf{f}$，分别为第d层已激活输出，未激活输出，权重矩阵,偏置,激活函数。
$$\begin{gathered} {\mathbf{a}}^d=\mathbf{f}({\mathbf{z}}^d) \\ {\mathbf{z}}^d={\mathbf{W}}^d{\mathbf{a}}^{d-1}+{\mathbf{b}}^d \end{gathered}$$
现求损失函数对于第d层权重向量偏导。
$$\begin{array}{rl}\mathrm{d}L& =\mathrm{t}\mathrm{r}((\frac{\partial L}{\partial {\mathbf{W}}^d}{)}^T\mathrm{d}{\mathbf{W}}^d)\\ & =\mathrm{t}\mathrm{r}((\frac{\partial L}{\partial {\mathbf{z}}^d}{)}^T\mathrm{d}{\mathbf{z}}^d)\\ & =\mathrm{t}\mathrm{r}((\frac{\partial L}{\partial {\mathbf{z}}^d}{)}^T\mathrm{d}({\mathbf{W}}^{\mathbf{d}}{\mathbf{a}}^{\mathbf{d}-1}))\\ & =\mathrm{t}\mathrm{r}({\mathbf{a}}^{d-1}(\frac{\partial L}{\partial {\mathbf{z}}^d}{)}^T\mathrm{d}{\mathbf{W}}^{\mathbf{d}})\end{array}$$

所以$\frac{\partial L}{\partial {\mathbf{W}}^d}=\frac{\partial L}{\partial {\mathbf{z}}^d}({\mathbf{a}}^{d-1}{)}^T$

定义$\frac{\partial L}{\partial {\mathbf{z}}^d}\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}{\delta }^d$,记作每层的误差。
$$\begin{array}{rl}{\delta }^d& =\frac{\partial L}{\partial {\mathbf{z}}^d}\\ & =\frac{\partial {\mathbf{a}}^d}{\partial {\mathbf{z}}^d}\frac{\partial {\mathbf{z}}^{d+1}}{\partial {\mathbf{a}}^d}\frac{\partial L}{\partial {\mathbf{z}}^{d+1}}\end{array}$$
又因
$$\begin{gathered} \frac{\partial {\mathbf{a}}^d}{\partial {\mathbf{z}}^d}=\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\mathbf{f}}^{\prime }({\mathbf{z}}^d)) \\ \frac{\partial {\mathbf{z}}^{d+1}}{\partial {\mathbf{a}}^d}=({\mathbf{W}}^{d+1}{)}^T \end{gathered}$$
所以最后的结果为
$$\begin{gathered} {\delta }^d=\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\mathbf{f}}^{\prime }({\mathbf{z}}^d))({\mathbf{W}}^{d+1}{)}^T{\delta }^{d+1} \\ \frac{\partial L}{\partial {\mathbf{W}}^d}={\delta }^d({\mathbf{a}}^{d-1}{)}^T \end{gathered}$$