矩阵求导，几种重要的矩阵及常用的矩阵求导公式

一、矩阵求导
一般来讲，我们约定$x=(x_1,x_2,...,x_n{)}^T$,这是分母布局。常见的矩阵求导方式有：向量对向量求导、标量对向量求导、向量对标量求导。

Numerator layout：分子布局，可以简单理解为要求导得向量是行向量。
Denominator layout：分母布局，可以简单理解为要求导得向量是列向量。
1.向量对向量求导

2.标量对向量求导


3.向量对标量求导

二、几种重要的矩阵
1、梯度（Gradient）


2、雅克比矩阵（Jacobian matrix）


3、海森矩阵（Hessian matrix）

三、常用的矩阵求导公式