矩阵求导公式

https://en.wikipedia.org/wiki/Matrix_calculus

先给一个维基百科吧……公式太多了

基本的公式：

设x为一个列向量，A为一个矩阵，则

d(Ax)/dx = A

d(x'A)/dx' = A

d(x'A)/dx = A'

d(x'Ax)/dx=(A+A')x

又设y为另一个列向量，则

d(x'Ay)/dA=xy'

d(x'A'y)/dA=yx'

详细法则：

（1）（2）（3）向量与矩阵对元素求导：向量与矩阵中逐个部分对元素求导即可（广播）

（4）（5）（6）元素对向量与矩阵求导：同上（反向广播）

（7）（8）行列向量求导：张成一个矩阵

（9）（10）行与行列与列求导：被求导的向量作为一个整体广播

（11）（12）（13）（14）矩阵与行列向量互相求导：（广播）

（15）矩阵对矩阵求导：写成行向量组成的列向量对矩阵求导