矩阵微分推导

1.函数

实质：空间到空间的映射。
不同空间相互映射的函数类型如下：

常见映射：标量、向量(n 维)、矩阵(mxn 维)到标量、向量(n 维)、矩阵(mxn
维)

2.导数和微分

标量到标量映射的导数和微分：

向量/矩阵为变量的函数导数与微分

各种导数的定义都是用因变量的各分量对自变量的各分量计算偏导，然后将计算出来的 N 多结果以某种形式表达，通常是以向量或矩阵形式表达。向量或矩阵的具体组织方式称为布局，不同的布局计算得到的公式是有差别
的，因此必需有个约定。

3.向量/矩阵导数和微分的布局

两种基本布局


一般布局约定

4.微分公式化计算

实值向量/矩阵函数微分与导数关系

向量/矩阵微分一般性质

迹运算的一般性质

实值向量/矩阵函数利用微分求导的一般步骤
对于y = 𝑓(𝑋) 𝑋是向量或矩阵，𝑦是实数
求导一般步骤如下：
1） 求dy =? ? ?
2） 求tr(dy) = tr(? ? ? dX)，因为 dy 是标量，有dy = tr(? ? ? dX)
3） ∂𝑓/𝜕𝑋 = (? ? ? )𝑇