矩阵论：向量求导/微分和矩阵微分

http://blog.csdn.net/pipisorry/article/details/68961388

复杂的矩阵函数求导。著名的matrix cookbook为广大的研究者们提供了一本大字典，里面有着各种简单到复杂矩阵和向量的求导法则。

布局(Layout)

矩阵求导有两种布局，分子布局(numerator layout)和分母布局(denominator layout)。

为了阐明这两种布局的区别，我们先来看最简单的求导规则。

首先是向量 y对标量 x求导，我们假定所有的向量都是列向量，

在分子布局下，

而在分母布局下，

你可以随时在两种布局间进行转换，只要你自己不犯迷糊。

向量求导规则

总的来说，涉及矩阵和向量的求导不外乎五大类别，

1. 标量对向量
2. 向量对标量
3. 标量对矩阵
4. 矩阵对标量
5. 向量对向量

标量函数关于向量的导数

在此，数量函数是指函数的输出是标量。由以上定义可知，我们所说的对向量的导数是函数关于向量元素的偏导数。因此，得到的导数结果是一向量，与向量的维度一致。

向量y对标量 x求导