点击上方“Datawhale”,选择“星标”公众号
第一时间获取价值内容
本文承接上篇 https://zhuanlan.zhihu.com/p/24709748,来讲矩阵对矩阵的求导术。使用小写字母x表示标量,粗体小写字母 表示列向量,大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路,常应用于二阶方法求解优化问题。
首先来琢磨一下定义。矩阵对矩阵的导数,需要什么样的定义?第一,矩阵 对矩阵 的导数应包含所有mnpq个偏导数 ,从而不损失信息;第二,导数与微分有简明的联系,因为在计算导数和应用中需要这个联系;第三,导数有简明的从整体出发的算法。我们先定义向量 对向量 的导数 ;再定义矩阵的(按列优先)向量化,并定义矩阵F对矩阵X的导数。导数与微分有联系。几点说明如下:
按此定义,标量 对矩阵 的导数 是 向量,与上篇的定义不兼容,不过二者容易相互转换。为避免混淆,用记号 表示上篇定义的 矩阵,则有 。虽然本篇的技术可以用于标量对矩阵求导这种特殊情况,但使用上篇中的技术更方便。读者可以通过上篇中的算例试验两种方法的等价转换。
标量对矩阵的二阶导数,又称Hessian矩阵,定义为,是对称矩阵。对向量 或矩阵 求导都可以得到Hessian矩阵,但从矩阵 f出发更方便。
,求导时矩阵被向量化,弊端是这在一定程度破坏了矩阵的结构,会导致结果变得形式复杂;好处是多元微积分中关于梯度、Hessian矩阵的结论可以沿用过来,只需将矩阵向量化。例如优化问题中,牛顿法的更新 ,满足。
在资料中,矩阵对矩阵的导数还有其它定义,比如,它能兼容上篇中的标量对矩阵导数的定义,但微分与导数的联系(dF等于 中每个 子块分别与dX做内积)不够简明,不便于计算和应用。
然后来建立运算法则。仍然要利用导数与微分的联系,求微分的方法与上篇相同,而从微分得到导数需要一些向量化的技巧:
线性: 。
矩阵乘法:,其中 表示Kronecker积, 与 的Kronecker积是 。此式证明见张贤达《矩阵分析与应用》第107-108页。
转置: ,A是 矩阵,其中 是交换矩阵(commutation matrix)。
逐元素乘法:,其中 是用A的元素(按列优先)排成的对角阵。
观察一下可以断言,若矩阵函数F是矩阵X经加减乘法、行列式、逆、逐元素函数等运算构成,则使用相应的运算法则对F求微分,再做向量化并使用技巧将其它项交换至 左侧,即能得到导数。
再谈一谈复合:假设已求得 ,而Y是X的函数,如何求 呢?从导数与微分的联系入手, ,可以推出链式法则 。
和标量对矩阵的导数相比,矩阵对矩阵的导数形式更加复杂,从不同角度出发常会得到形式不同的结果。有一些Kronecker积和交换矩阵相关的恒等式,可用来做等价变形:
。
。
。可以对 求导来证明,一方面,直接求导得到 ;另一方面,引入 ,有 , ,用链式法则得到 。
。
,A是m×n矩阵,B是p×q矩阵。可以对 做向量化来证明,一方面,;另一方面,。
接下来演示一些算例。
例1: , 是 矩阵,求 。
解:先求微分: ,再做向量化,使用矩阵乘法的技巧,注意在dX右侧添加单位阵:,对照导数与微分的联系得到 。
特例:如果 退化为向量, ,则根据向量的导数与微分的关系 ,得到 。
例2: , 是 矩阵,求 和 。
解:使用上篇中的技术可求得 。为求 ,先求微分: ,再做向量化,使用转置和矩阵乘法的技巧,对照导数与微分的联系,得到 ,注意它是对称矩阵。在X是对称矩阵时,可简化为 。
例3: , 是 , 是 , 是 矩阵, 为逐元素函数,求 。
解:先求微分:,再做向量化,使用矩阵乘法的技巧:,再用逐元素乘法的技巧:,再用矩阵乘法的技巧:,对照导数与微分的联系得到。
例4【一元logistic回归】:。其中 是取值0或1的标量, , 是向量。
解:使用上篇中的技术可求得 ,其中 为sigmoid函数。为求 ,先求微分: ,其中 为sigmoid函数的导数,对照导数与微分的联系,得到 。
推广:样本
,
,
,,求
和
。有两种方法,方法一:先对每个样本求导,然后相加;方法二:定义矩阵
,向量
例5【多元logistic回归】:,求
解:上篇例3中已求得。为求
最后做个总结。我们发展了从整体出发的矩阵求导的技术,导数与微分的联系是计算的枢纽,标量对矩阵的导数与微分的联系是
参考资料:
张贤达. 矩阵分析与应用. 清华大学出版社有限公司, 2004.
Fackler, Paul L. "Notes on matrix calculus." North Carolina State University(2005).
Petersen, Kaare Brandt, and Michael Syskind Pedersen. "The matrix cookbook." Technical University of Denmark 7 (2008): 15.
HU, Pili. "Matrix Calculus: Derivation and Simple Application." (2012).