迹求导原因
矩阵求导最终都是华为标量求导，迹就是最简单的衡量标量 一定要掌握
总结
T
r
(
A
B
)
=
T
r
(
B
A
)
Tr(AB) =Tr(BA)
Tr(AB)=Tr(BA)
T
r
(
A
B
C
)
=
T
r
(
B
C
A
)
=
T
r
(
C
A
B
)
Tr(ABC) = Tr(BCA) = Tr(CAB)
Tr(ABC)=Tr(BCA)=Tr(CAB)
T
r
(
A
)
=
T
r
(
A
′
)
Tr(A) = Tr(A')
Tr(A)=Tr(A′)
d
(
T
r
(
X
B
)
）
=
d
(
T
r
(
B
X
)
)
=
B
′
d(Tr(XB)）=d(Tr(BX)) = B'
d(Tr(XB)）=d(Tr(BX))=B′
X作为自变量（矩阵），若
d
(
T
r
(
X
′
B
)
)
=
d
(
T
r
(
B
′
X
)
=
B
d(Tr(X'B)) = d(Tr(B'X)=B
d(Tr(X′B))=d(Tr(B′X)=B
d
T
r
(
A
′
X
B
′
)
=
d
T
r
(
B
X
′
A
)
=
d
T
r
(
X
′
A
B
)
=
A
B
dTr(A'XB')=dTr(BX'A)=dTr(X'AB)=AB
dTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=AB
还有终极的二次X：
d
T
r
(
A
X
B
X
′
)
=
T
r
(
A
X
B
d
(
X
′
)
)
+
T
r
(
X
B
′
d
(
X
′
)
A
′
)
=
A
X
B
+
A
′
X
B
′
dTr(AXBX')=Tr(AXBd(X'))+Tr(XB'd(X')A')=AXB+A'XB'
dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′
技巧
掌握根本的定义公式足够应付形式的千变万化；
【定义】矩阵迹就是对对角线求和：
T
r
(
A
)
=
Σ
a
i
i
Tr(A) = \Sigma{a_{ii}}
Tr(A)=Σaii
自然，转置时候，aii不动的，Tr(A) = Tr(A’)
【AB矩阵乘】AB大小分别为mxn和nxm，那么迹就是
T
r
(
A
B
)
=
Σ
i
m
Σ
j
n
a
i
j
b
j
i
Tr(AB) = \Sigma{_i^m \Sigma{_j^n a_{ij}b_{ji}}}
Tr(AB)=ΣimΣjnaijbji
关键就在AB乘积，迹是遍历两个维度m,n维度的有序ab乘积，所以颠倒乘法顺序，仍然是
T
r
(
A
B
)
=
Σ
j
n
Σ
i
m
b
j
i
a
i
j
=
T
r
(
B
A
)
Tr(AB) = \Sigma{_j^n \Sigma{_i^mb_{ji} a_{ij}}}=Tr(BA)
Tr(AB)=ΣjnΣimbjiaij=Tr(BA)没有任何差异。
【求导】因为和
X
i
j
X_{ij}
Xij配对的永远是
b
j
i
b_{ji}
bji,所以有
d
(
T
r
(
A
B
)
)
/
d
(
a
j
i
)
=
d
(
Σ
i
m
Σ
j
n
a
i
j
b
j
i
)
/
d
(
a
i
j
)
=
b
j
i
d(Tr(AB))/d(a_{ji}) =d( \Sigma{_i^m \Sigma{_j^n a_{ij}b_{ji}}})/d(a_{ij})=b_{ji}
d(Tr(AB))/d(aji)=d(ΣimΣjnaijbji)/d(aij)=bji
所以自然Tr(AB)偏导为B’,有个转置，这是由于矩阵乘法行列相差的关联关系导致的。
所有相关的偏导都会有这个结果：
d
(
T
r
(
X
′
B
)
)
=
d
(
T
r
(
B
′
X
)
=
B
d(Tr(X'B)) = d(Tr(B'X)=B
d(Tr(X′B))=d(Tr(B′X)=B
d
T
r
(
A
′
X
B
′
)
=
d
T
r
(
B
X
′
A
)
=
d
T
r
(
X
′
A
B
)
=
A
B
dTr(A'XB')=dTr(BX'A)=dTr(X'AB)=AB
dTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=AB
还有终极的二次X：
d
T
r
(
A
X
B
X
′
)
=
T
r
(
A
X
B
d
(
X
′
)
)
+
T
r
(
X
B
′
d
(
X
′
)
A
′
)
=
A
X
B
+
A
′
X
B
′
dTr(AXBX')=Tr(AXBd(X'))+Tr(XB'd(X')A')=AXB+A'XB'
dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
