矩阵微积分（一）

矩阵微分的研究范围

并不是任何形式的矩阵都可以做微分，我们首先需要规定下矩阵微分的范围：

上图中灰色的部分，我们不做研究

矩阵微分的两套标准

矩阵微积分相比较标量的微积分，形式上比较复杂，标准也不统一。其中比较常见的是 denominator layout 和 numerator layout，前者的微分结果形式上和分母类似，后者反之。例如 y 为 m 维列向量，x 为 n 维列向量，则按照 denominator layout 的标准，则有 

                                                             

维度维 n * m，也就是说相当于纵向上和分母维度相同，横向上和分子维度相同。

按照numerator layout的方法，我们有：

                                                             

若这里 y 是标量，则；

当然，有些求导公式是 numerator layout 或者  denominator layout所特有的。在numerator layout里，我们可以计算矩阵对于标量的微分：

                                                       

而在 denominator layout 里，我们只能求取标量对于矩阵的导数：

                                                         

在机器学习应用当中，为了方便计算，我们主要应用 denominator layout  形式。 

参考文献：

[1] Matrix calculus