主要公式:
Trace:
Derivative:
Gradient:
假设有函数
f:Rm×n→R
f
:
R
m
×
n
→
R
,将
m×n
m
×
n
的矩阵映射到实数
R
R
空间去,则我们定义 关于矩阵
A
A
的导数为:
公式证明
(1) trAB=trBA t r A B = t r B A
假设
可得
同理得式(6)、(7)
(2) ∇AtrAB=BT ∇ A t r A B = B T
又因为
trAB=∑i=1n∑j=1naijbji
t
r
A
B
=
∑
i
=
1
n
∑
j
=
1
n
a
i
j
b
j
i
,对于A 中的每一个
aij
a
i
j
都有:
又因为 B B 由式(18)定义,所以
(3) ∇A|A|=|A|(A−1)T ∇ A | A | = | A | ( A − 1 ) T
由行列式的性质得:
|A|=∑jaijAij
|
A
|
=
∑
j
a
i
j
A
i
j
,其中
Aij
A
i
j
矩阵
(i,j)
(
i
,
j
)
处的代数余子式。所以:
(4) ∇ATf(A)=(∇Af(A))T ∇ A T f ( A ) = ( ∇ A f ( A ) ) T
等号左边对于A 中的每一个 aij a i j 都有: df(A)daji d f ( A ) d a j i
等号右边对于A 中的每一个 aij a i j 可表示为: df(A)daij d f ( A ) d a i j
可以发现他们正好是转置的关系。
(5)
∇AtrABATC=CAB+CTABT
∇
A
t
r
A
B
A
T
C
=
C
A
B
+
C
T
A
B
T