矩阵微积分（二）

矩阵微分的一般方法

首先说明，我们的方法主要在是在 denominator layout 框架下。

按照微分分子分母的类型，我们可以给矩阵微分分为几个类别。如果 scalar / vector、vector / matrix 等等。我们不需要记住每一种情况下的规则。除却涉及矩阵的微分计算（形式比较特殊），我们首先需要记住的是微分计算的两个个法则：乘法法则、和链式法则（加法法则比较简单直观，无需记忆）。

vector-by-vector

1.乘法法则（最后列为denominator layout）

2. 链式法则（最后列为denominator layout）

scalar-by-vector

1.乘法法则（最后列为denominator layout）

2. 链式法则（最后列为denominator layout）

vector-by-scalar

1.乘法法则（最后列为denominator layout）

2. 链式法则（最后列为denominator layout）

涉及matrix微分运算的方法

设计到matrix微分的运算方法情况比较复杂，一种处理方法是把微分问题转化为 element-wise，也就对matrix的单个元素做微分，之后在整合到一起。

一些常用微分结论

                                                                     

按位计算的向量函数及其导数：

我们定义 x = [x1, · · · , xK]T， z = [z1, · · · , zK]T

                                                                                

其中， f(x)是按位运算的，即[f(x)]i = f(xi)，则有：

                                                

参考文献：

[1] Matrix calculus

[2] 神经网络与深度学习(邱锡鹏)