1、Jacobian矩阵与梯度矩阵
1.1Jacobian矩阵
1.2梯度矩阵
1.3偏导和梯度计算
2、一阶实矩阵微分与Jacobian矩阵辨识
一阶实矩阵微分
实矩阵微分具有以下两个基本性质:
转置 矩阵转置的微分等于矩阵微分的转置,即有
d
(
X
T
)
=
(
d
X
)
T
d(X^T)=(dX)^T
d(XT)=(dX)T。
线性
d
(
α
d
X
+
β
d
Y
)
=
α
d
X
+
β
d
Y
d(\alpha dX+\beta dY)=\alpha dX+\beta dY
d(αdX+βdY)=αdX+βdY。
下面是矩阵微分的常用计算公式:
(1)常数矩阵的微分矩阵为零矩阵,即
d
A
=
O
dA=O
dA=O。
(2)常数
α
\alpha
α与矩阵
X
X
X的乘积的微分矩阵
d
(
α
X
)
=
α
d
X
d(\alpha X)=\alpha dX
d(αX)=αdX。
(3)矩阵转置的微分矩阵等于原矩阵的微分矩阵的转置,即
d
(
X
T
)
=
(
d
X
)
T
d(X^T)=(dX)^T
d(XT)=(dX)T。
(4)两个矩阵函数的和(差)的微分矩阵为
d
(
U
±
V
)
=
d
U
±
d
V
d(U \pm V)=dU \pm dV
d(U±V)=dU±dV。
(5)常数矩阵与矩阵乘法的微分矩阵为
d
(
A
X
B
)
=
A
(
d
X
)
B
d(AXB)=A(dX)B
d(AXB)=A(dX)B。
(6)矩阵函数
U
=
F
(
X
)
,
V
=
G
(
X
)
,
W
=
H
(
X
)
U=F(X),V=G(X),W=H(X)
U=F(X),V=G(X),W=H(X)乘积的微分矩阵为:
d
(
U
V
)
=
(
d
U
)
V
+
U
(
d
V
)
d
(
U
V
W
)
=
(
d
U
)
V
W
+
U
(
d
V
)
W
+
U
V
(
d
W
)
d(UV)=(dU)V+U(dV)\\ d(UVW)=(dU)VW+U(dV)W+UV(dW)
d(UV)=(dU)V+U(dV)d(UVW)=(dU)VW+U(dV)W+UV(dW)
(7)矩阵
X
X
X的迹的矩阵微分
d
(
t
r
(
X
)
)
d(tr(X))
d(tr(X))等于矩阵微分
d
X
dX
dX的迹
t
r
(
d
X
)
tr(dX)
tr(dX),即:
d
(
t
r
(
X
)
)
=
t
r
(
d
X
)
d(tr(X))=tr(dX)
d(tr(X))=tr(dX)
特别地,矩阵函数
F
(
X
)
F(X)
F(X)的迹的矩阵微分为
d
(
t
r
(
F
(
X
)
)
)
=
t
r
(
d
(
F
(
X
)
)
)
d(tr(F(X)))=tr(d(F(X)))
d(tr(F(X)))=tr(d(F(X)))。
(8)行列式的微分为:
d
∣
X
∣
=
∣
X
∣
t
r
(
X
−
1
d
X
)
d|X|=|X|tr(X^{-1}dX)
d∣X∣=∣X∣tr(X−1dX)
特别地,矩阵函数
F
(
X
)
F(X)
F(X)的行列式的微分为
d
∣
F
(
X
)
∣
=
∣
F
(
X
)
∣
t
r
(
F
−
1
(
X
)
d
(
F
(
X
)
)
)
d|F(X)|=|F(X)|tr(F^{-1}(X)d(F(X)))
d∣F(X)∣=∣F(X)∣tr(F−1(X)d(F(X)))。
(9)矩阵函数的Kronecker积的微分矩阵为:
d
(
U
⊗
V
)
=
(
d
U
)
⊗
V
+
U
⊗
d
V
d(U \otimes V)=(dU) \otimes V+U \otimes dV
d(U⊗V)=(dU)⊗V+U⊗dV
(10)矩阵函数的Hadamard积的微分矩阵为:
d
(
U
∗
V
)
=
(
d
U
)
∗
V
+
U
∗
d
V
d(U*V)=(dU)*V+U*dV
d(U∗V)=(dU)∗V+U∗dV
(11)向量化函数
v
e
c
(
X
)
vec(X)
vec(X)的微分矩阵等于
X
X
X的微分矩阵的向量化函数,即
d
(
v
e
c
(
X
)
)
=
v
e
c
(
d
X
)
d(vec(X))=vec(dX)
d(vec(X))=vec(dX)
(12)矩阵对数的微分矩阵为
d
log
X
=
X
−
1
d
X
d \log X=X^{-1}dX
dlogX=X−1dX
特别地,矩阵函数的对数的微分矩阵为
d
log
(
F
(
X
)
)
=
F
−
1
(
X
)
d
(
F
(
X
)
)
d \log(F(X))=F^{-1}(X)d(F(X))
dlog(F(X))=F−1(X)d(F(X))。
(13)逆矩阵的微分矩阵为
d
(
X
−
1
)
=
−
X
−
1
(
d
X
)
X
−
1
d(X^{-1})=-X^{-1}(dX)X^{-1}
d(X−1)=−X−1(dX)X−1
(14)Moore-Penrose逆矩阵的微分矩阵为
d
(
X
†
)
d(X^{\dagger})
d(X†)