矩阵及向量常用操作

矩阵求导

矩阵求导的本质

矩阵A对矩阵B求导： 矩阵A中的每一个元素分别对矩阵B中的每个元素进行求导。
$A_{1\times 1}$,$B_{1\times 1}$: $\frac{dA}{dB}$ 一个导数
$A_{m\times 1}$,$B_{1\times 1}$: $\frac{dA}{dB}$ m个导数
$A_{m\times 1}$,$B_{p\times 1}$: $\frac{dA}{dB}$ $m\times p$个导数
$A_{m\times n}$,$B_{p\times q}$: $\frac{dA}{dB}$ $m\times n\times p\times q$个导数
求导的本质只是把标量求导的结果排列起来，至于是按行排列还是按列排列都是可以的。但是如果行向量或者列向量随便写，那么结果就不唯一，乱套了。
为了解决矩阵向量求导的结果不唯一，我们引入求导布局。最基本的求导布局有两个：分子布局(numerator layout)和分母布局(denominator layout )。

以分母布局进行求导

对于分母布局来说，求导结果的维度以分母为主
$\frac{\partial f<==分子}{\partial x<==分母}$

标量对向量求导

f为标量函数:
$f(x_1,x_2\dots \dots x_p)$
如果x为列向量：
$$x={\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]}_{p\times 1}$$
那么定义导数为：
$$\frac{\partial f}{\partial x}={\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ⋮\\ \frac{\partial f}{\partial x_p}\end{array}\right]}_{p\times 1}$$

如果x为行向量
$$x={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_p\end{array}\right]}_{1\times p}$$
那么
$$\frac{\partial f}{\partial x}={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& \cdots & \frac{\partial f}{\partial x_p}\end{array}\right]}_{1\times p}$$

向量对标量求导

设f为列向量
$$f={\left[\begin{array}{c}{f}_1(x)\\ f_2(x)\\ ⋮\\ f_m(x)\end{array}\right]}_{m\times 1}$$
分母x为标量
那么导数定义为：
$\frac{\partial f_{m\times 1}}{\partial x}=[\frac{\partial f_1(x)}{\partial x},\frac{\partial f_2(x)}{\partial x},\cdots ,\frac{\partial f_m(x)}{\partial x}{]}_{1\times m}=\frac{\partial f^T}{\partial x}$

向量对向量求导

函数f为列向量
$$f={\left[\begin{array}{c}{f}_1(x)\\ f_2(x)\\ ⋮\\ f_m(x)\end{array}\right]}_{m\times 1}$$
分母为列向量
$$x={\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]}_{p\times 1}$$
首先推出
$$\frac{\partial f}{\partial x}={\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ⋮\\ \frac{\partial f}{\partial x_p}\end{array}\right]}_{p\times 1}$$
之后由向量对标量的求导原则可以推出

$$\frac{\partial f}{\partial x}={\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_2}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_1}\\ \frac{\partial f_1}{\partial x_2}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_m}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_1}{\partial x_p}& \frac{\partial f_2}{\partial x_p}& \cdots & \frac{\partial f_m}{\partial x_p}\end{array}\right]}_{p\times m}$$

以分子布局进行求导

对于分子布局来说，我们求导结果的维度以分子为主，比如对于我们上面对标量求导的例子，结果的维度和分子的维度是一致的。也就是说，如果向量f 是一个m维的列向量，那么求导结果$\frac{\partial f}{\partial x}$
也是一个m维列向量。如果如果向量f 是一个m维的行向量，那么求导结果$\frac{\partial f}{\partial x}$ 也是一个m维行向量。可见，对于分子布局和分母布局的结果来说，两者相差一个转置。

但是在机器学习算法原理的资料推导里，我们并没有看到说正在使用什么布局，也就是说布局被隐含了，这就需要自己去推演，比较麻烦。但是一般来说我们会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量对向量或者矩阵求导，则以分母布局为准。对于向量对对向量求导，有些分歧以分子布局的雅克比矩阵为主。

常用矩阵求导公式

向量对向量求导

标量对向量求导


向量对标量求导

几种重要的求导矩阵

梯度


雅可比矩阵
下边这个按分子布局的向量对向量求导的结果矩阵，我们一般叫做雅克比 (Jacobian)矩阵。有的资料上会使用$\frac{\partial f(x)}{\partial x^T}$来定义雅克比矩阵，意义是一样


海森矩阵