http://blog.csdn.net/pipisorry/article/details/68961388
复杂的矩阵函数求导。著名的matrix cookbook为广大的研究者们提供了一本大字典,里面有着各种简单到复杂矩阵和向量的求导法则。
布局(Layout)
矩阵求导有两种布局,分子布局(numerator layout)和分母布局(denominator layout)。
为了阐明这两种布局的区别,我们先来看最简单的求导规则。
首先是向量 y对标量 x求导,我们假定所有的向量都是列向量,
在分子布局下,
而在分母布局下,
你可以随时在两种布局间进行转换,只要你自己不犯迷糊。
向量求导规则
总的来说,涉及矩阵和向量的求导不外乎五大类别,
- 标量对向量
- 向量对标量
- 标量对矩阵
- 矩阵对标量
- 向量对向量
标量函数关于向量的导数
在此,数量函数是指函数的输出是标量。由以上定义可知,我们所说的对向量的导数是函数关于向量元素的偏导数。因此,得到的导数结果是一向量,与向量