矩阵求导方法

1、全微分

• 当X是矩阵，$dy=tr({\frac{\partial y}{\partial X}}^{T}dX)$

• 当X是向量，$dy={\frac{\partial y}{\partial X}}^{T}dX=tr({\frac{\partial y}{\partial X}}^{T}dX)$

2、活用迹（tr）

$(1)a是标量，a=tr(a)$

$(2)A，B为方阵，tr(AB)=tr(BA)$

$(3)tr(A)=tr(A^T)$

$(4)tr(A+B)=tr(A)+tr(B)$

$(5)微分d(X^T)=(dX{)}^T$

这些公式将用于下面的求导

3、矩阵求导例子

下面将展示一些用上面公式求矩阵导数的例子：

---

例1：

$X=(x_1,...,x_n{)}^T$是向量，$A$是与$X$无关的矩阵：$y=X^{T}AX，求\frac{\partial y}{\partial X}?$

全微分表达式：
$dy=(d{X}^T)AX+X^{T}A(dX)$

由公式（1）得：

$dy=tr((d{X}^T)AX+X^{T}A(dX))$

由公式（2）得：

$dy=tr((d{X}^T)AX)+tr(X^{T}A(dX))$

由公式(5) (3)得：

$dy=tr((dX{)}^{T}AX)+tr(X^{T}A(dX))=tr(X^T{A}^{T}dX)+tr(X^{T}A(dX))$

由公式（2）得：

$dy=tr(X^T{A}^T(dX)+X^{T}A(dX))=tr(X^T(A^T+A)dX)$

$\because dy=tr({\frac{\partial y}{\partial X}}^{T}dX)$

$\Rightarrow {\frac{\partial y}{\partial X}}^T=X^T(A^T+A)$

$\Rightarrow \frac{\partial y}{\partial X}=(X^T(A^T+A){)}^T=(A+A^T)X$

---

例2：

$y=tr(AB),求\frac{\partial y}{\partial A}?$

全微分表达式：
$dy=tr[(dA)B]$

由公式(2)得：
$dy=tr[BdA]$

$\because dy=tr({\frac{\partial y}{\partial X}}^{T}dX)$

$\Rightarrow {\frac{\partial y}{\partial A}}^T=B$

$\Rightarrow \frac{\partial y}{\partial A}=B^T$