矩阵微分

1、Jacobian矩阵与梯度矩阵

1.1Jacobian矩阵

1.2梯度矩阵

1.3偏导和梯度计算

2、一阶实矩阵微分与Jacobian矩阵辨识

一阶实矩阵微分

实矩阵微分具有以下两个基本性质：

转置  矩阵转置的微分等于矩阵微分的转置，即有$d(X^T)=(dX{)}^T$。
线性  $d(\alpha dX+\beta dY)=\alpha dX+\beta dY$。

下面是矩阵微分的常用计算公式：

（1）常数矩阵的微分矩阵为零矩阵，即$dA=O$。
（2）常数$\alpha$与矩阵$X$的乘积的微分矩阵$d(\alpha X)=\alpha dX$。
（3）矩阵转置的微分矩阵等于原矩阵的微分矩阵的转置，即$d(X^T)=(dX{)}^T$。
（4）两个矩阵函数的和（差）的微分矩阵为$d(U\pm V)=dU\pm dV$。
（5）常数矩阵与矩阵乘法的微分矩阵为$d(AXB)=A(dX)B$。
（6）矩阵函数$U=F(X)，V=G(X)，W=H(X)$乘积的微分矩阵为：
$$\begin{gathered} d(UV)=(dU)V+U(dV) \\ d(UVW)=(dU)VW+U(dV)W+UV(dW) \end{gathered}$$

（7）矩阵$X$的迹的矩阵微分$d(tr(X))$等于矩阵微分$dX$的迹$tr(dX)$，即：
$$d(tr(X))=tr(dX)$$

特别地，矩阵函数$F(X)$的迹的矩阵微分为$d(tr(F(X)))=tr(d(F(X)))$。
（8）行列式的微分为：
$$d|X|=|X|tr(X^{-1}dX)$$

特别地，矩阵函数$F(X)$的行列式的微分为$d|F(X)|=|F(X)|tr(F^{-1}(X)d(F(X)))$。
（9）矩阵函数的Kronecker积的微分矩阵为：
$$d(U\otimes V)=(dU)\otimes V+U\otimes dV$$
（10）矩阵函数的Hadamard积的微分矩阵为：
$$d(U\ast V)=(dU)\ast V+U\ast dV$$

（11）向量化函数$vec(X)$的微分矩阵等于$X$的微分矩阵的向量化函数，即
$$d(vec(X))=vec(dX)$$

（12）矩阵对数的微分矩阵为
$$d\log X=X^{-1}dX$$

特别地，矩阵函数的对数的微分矩阵为$d\log (F(X))=F^{-1}(X)d(F(X))$。
（13）逆矩阵的微分矩阵为
$$d(X^{-1})=-X^{-1}(dX)X^{-1}$$

（14）Moore-Penrose逆矩阵的微分矩阵为
$$d(X^{†})$$

3、二阶实矩阵微分与Hessian矩阵辨识

4、共轭梯度与复Hessian矩阵

5、复梯度矩阵与复Hessian矩阵的辨识