矩阵求导术(下)
转自:https://zhuanlan.zhihu.com/p/24863977
4 个月前
本文承接上篇 https://zhuanlan.zhihu.com/p/24709748,来讲矩阵对矩阵的求导术。使用小写字母x表示标量,粗体小写字母
x
表示列向量,大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路,常应用于二阶方法求解优化问题。
首先来琢磨一下定义。矩阵对矩阵的导数,需要什么样的定义?第一,矩阵 F(p×q) 对矩阵 X(m×n) 的导数应包含所有 mnpq 个偏导数 ∂Fkl∂Xij ,从而不损失信息;第二,导数与微分有简明的联系,因为在计算导数和应用中需要这个联系;第三,导数有简明的从整体出发的算法。我们先定义向量 f(p×1) 对向量 x(m×1) 的导数
按此定义,标量f对矩阵
X(m×n)
的导数
∂f∂X
是mn×1向量,与上篇的定义不兼容,不过二者容易相互转换。为避免混淆,用记号
∇Xf
表示上篇定义的m×n矩阵,则有
∂f∂X=vec(∇Xf)
。虽然本篇的技术可以用于标量对矩阵求导这种特殊情况,但使用上篇中的技术更方便。读者可以通过上篇中的算例试验两种方法的等价转换。
标量对矩阵的二阶导数,又称Hessian矩阵,定义为
∇2Xf:=∂2f∂X2=∂∇Xf∂X(mn×mn)
,是对称矩阵。对
∂f∂X或∇Xf
求导都可以得到Hessian矩阵,但从矩阵
∇Xf
出发更方便。
在资料中,矩阵对矩阵的导数还有其它定义,比如 ∂F∂X:=[∂Fkl∂X](mp×nq) ,它能兼容上篇中的标量对矩阵导数的定义,但微分与导数的联系( dF 等于 ∂F∂X 中每个m×n子块分别与 dX 做内积)不够简明,不便于计算和应用。
然后来建立运算法则。仍然要利用导数与微分的联系 vec(dF)=∂F∂XTvec(dX) ,求微分的方法与上篇相同,而从微分得到导数需要一些向量化的技巧:
线性:
vec(A+B)=vec(A)+vec(B)
。
矩阵乘法:
vec(AXB)=(BT⊗A)vec(X)
,其中
⊗
表示Kronecker积,
A(m×n)
与
B(p×q)
的Kronecker积是
A⊗B:=[AijB](mp×nq)
。此式证明见张贤达《矩阵分析与应用》第107-108页。
转置:
vec(AT)=Kmnvec(A)
,
A
是
逐元素乘法:
vec(A⊙X)=diag(A)vec(X)
,其中
diag(A)(mn×mn)
是用
A
的元素(按列优先)排成的对角阵。
观察一下可以断言,若矩阵函数
再谈一谈复合:假设已求得 ∂F∂Y ,而Y是X的函数,如何求 ∂F∂X 呢?从导数与微分的联系入手, vec(dF)=∂F∂YTvec(dY)=∂F∂YT∂Y∂XTvec(dX) ,可以推出链式法则 ∂F∂X=∂Y∂X∂F∂Y 。
和标量对矩阵的导数相比,矩阵对矩阵的导数形式更加复杂,从不同角度出发常会得到形式不同的结果。有一些Kronecker积和交换矩阵相关的恒等式,可用来做等价变形:
Kmn=KTnm,KmnKnm=I 。
KpmA⊗BKnq=B⊗A , A 是
接下来演示一些算例。
例1:
F=AX
,
X
是
解:先求微分: dF=AdX ,再做向量化,使用矩阵乘法的技巧,注意在 dX 右侧添加单位阵: vec(dF)=vec(AdX)=(In⊗A)vec(dX) ,对照导数与微分的关系得到 ∂F∂X=In⊗AT 。
例2:
f=log|X|
,
X
是
解:使用上篇中的技术可求得
∇Xf=X−1T
。为求
∇2Xf
,先求微分:
d∇Xf=−(X−1dXX−1)T
,再做向量化,使用转置和矩阵乘法的技巧
vec(d∇Xf)=−Knnvec(X−1dXX−1)=−KnnX−1T⊗X−1vec(dX)
,对照导数与微分的关系得到
∇2Xf=−KnnX−1T⊗X−1
。注意
∇2Xf
是对称矩阵。在
X
是对称矩阵时,可简化为
例3:
F=Aexp(XB)
,
A
是
解:先求微分: dF=A(exp(XB)⊙(dXB)) ,再做向量化,使用矩阵乘法的技巧: vec(dF)=(Ip⊗A)vec(exp(XB)⊙(dXB)) ,再用逐元素乘法的技巧: vec(dF)=(Ip⊗A)diag(exp(XB))vec(dXB) ,再用矩阵乘法的技巧: vec(dF)=(Ip⊗A)diag(exp(XB))(BT⊗Im)vec(dX) ,对照导数与微分的关系得到 ∂F∂X=(B⊗Im)diag(exp(XB))(Ip⊗AT) 。
最后做个小结。我们发展了从整体出发的矩阵求导的技术,导数与微分的联系是计算的枢纽,标量对矩阵的导数与微分的联系是 df=tr(∇TXfdX) ,先对f求微分,再使用迹技巧可求得导数;矩阵对矩阵的导数与微分的联系是 vec(dF)=∂F∂XTvec(dX) ,先对F求微分,再使用向量化的技巧可求得导数。
参考资料:
张贤达. 矩阵分析与应用. 清华大学出版社有限公司, 2004.
Fackler, Paul L. “Notes on matrix calculus.” North Carolina State University(2005).
Petersen, Kaare Brandt, and Michael Syskind Pedersen. “The matrix cookbook.” Technical
University of Denmark 7 (2008): 15.
HU, Pili. “Matrix Calculus: Derivation and Simple Application.” (2012).