数学-矩阵计算（2）矩阵函数微积分前奏

来自：http://www4.ncsu.edu/~pfackler/ 下面的《Notes on Matrix Calculus》，这是Paul l. Fackler 在2005年9月27日写的矩阵微积分笔记

Notes on Matrix Calculus

    矩阵微积分会涉及到对矩阵函数操作的规则。例如，假设将一个m×n 的矩阵 X 映射到一个p×q 的矩阵 Y 中。而我们期望获得的导数表达式如下：

对于所有的 i，j 和k，l 来说，这里主要的困难在于如何将对矩阵内的元素对应的求导，我们在矩阵计算（1）中最后有关矩阵对矩阵的求导，可是如果矩阵过大，那就非人力可以为之了，所以，为了更好的计算，就需要将矩阵的求导上升到一个较高的抽象的层面。

    在矩阵微积分中，最常用的就是vec操作和Kronecker乘积：vec操作就是会将一个矩阵按照它的列进行向量化（因为习惯上使用列为主，而不是行为主）。例如：向量化下面的矩阵：

得到的vec操作结果为：

而两个矩阵的Kronecker乘积为：矩阵A，B，这里A是m×n大小的，而B是p×q大小的，那么定义的乘积为：

也就是得到的结果为mp×nq大小的矩阵。而在vec操作和Kronecker乘积之间有个很重要的关系就是：

在求导矩阵微积分结果中，该式子发挥着举足轻重的作用。（个人：按照矩阵乘法规则，这里的X 应该是个n×p 的矩阵）

        另一个需要用到的矩阵操作和vec操作的联系很紧密，定义为将转换成的矩阵：

这里矩阵的大小为mn×mn。具有一些特别的属性，首先是它的定义：如果应用在了一个m×n矩阵的vec操作的结果上，然后在上面再加一个应用，那么原始向量化的矩阵的结果为：

所以：

也就是说：