矩阵求导法

矩阵求导法

1、前言

设$y=f(x)$且$x=[x_1{x}_2...x_n{]}^T$，由多元函数微积分可知
$$dy=\sum _{i=1}^n\frac{dy}{d{x}_i}d{x}_i=(\frac{dy}{dx}{)}^{T}dx$$
将向量$x$推广到矩阵的形式，可以得到
$$dy=\sum _{i=1}^n\sum _{j=1}^m\frac{\partial y}{\partial X_{ij}}d{X}_{ij}=tr((\frac{\partial y}{\partial X}{)}^{T}dX)$$

值得注意的是，本文所有向量都默认为列向量的形式，用小写字母表示标量和向量，用大写字母表示矩阵。

2、布局方式

一般来说，我们会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。

3、基本公式

3.1 微分基本性质

• 微分加减法：$d(X\pm Y)=dX\pm dY$
• 微分乘法：$d(XY)=XdY+YdX$
• 微分转置：$d(X^T)=(dX{)}^T$
• 逆矩阵微分：$d(X^{-1})=-X^{-1}d(X)X^{-1}$
• 哈达马积（Hadamard Product）微分：$d(X\odot Y)=X\odot dY+dX\odot Y$
• 逐项元素求导：$d\sigma (X)={\sigma }^{{}^{\prime }}(X)\odot dX$

3.2 迹的基本性质（针对标量对向量或者矩阵求导情况）

• $tr(x)=x(x为标量)$
• $tr(A^T)=tr(A)$
• $tr(AB)=tr(BA)$
• $tr(A\pm B)=tr(A)\pm tr(B)$
• $d[tr(X)]=tr(dX)$
• $tr[(A\odot B{)}^{T}C]=tr[A^T(B\odot C)]$

3.3 性质证明

（1） d ( X − 1 ) = − X − 1 d ( X ) X − 1 d(X^{-1})=-X^{-1}d(X)X^{-1} d(X−1)=−X