矩阵求导的通用法则，标量、向量和矩阵的所有情况相互求导

标量通俗的说就是一个数，向量可以看成行或列为1的矩阵。3者两两结合有9中方式。

1 标量与标量

标量与标量就是正常的以为函数求导。

2 标量与向量

2.1 向量对标量求导

向量的每个分量对标量求导：

 

2.2 标量对向量求导

结果为一个与向量同阶的向量，每个元素为标量对对应位置向量元素的倒数：

 

因为是对向量求导，这里采用分子布局（即分母不变，分子转置。分子和分母布局求出来的结果互为转置）：

  

3 标量与矩阵

标量的结合比较特殊，也很简单 。

3.1 矩阵对标量求导

对矩阵中的每个元素分别对标量求导即可。

3.2 标量对矩阵求导

标量对矩阵的求导，我起初觉得不适合求导规律，但查阅之后发现，针对此类情况，数学界有专门的定义。即求导结果为一个与矩阵同阶的矩阵，其中元素为标量对对应位置元素的倒数，如下图：

 

4 矩阵和向量之间求导的通用法则

4.1 问题描述

我们知道，向量可以看成行或列为1的特殊矩阵，矩阵也可以分解成行或列向量组成的列或行向量。

对于m*n阶矩阵Y：

对于p*q阶矩阵X：

将Y分解为m个1*n的行向量组成的列向量：

 将X分解为q个p*1的列向量组成的行向量：

 4.2 第一步转化

所以问题就转化为第一步先求列向量对行向量求导：

根据求导法则，结果如下：

 这是一个m*q的大矩阵，每一个元素是1*n的行向量对p*1的列向量求导的结果，为p*n阶矩阵：

4.3 第二步转化

所以问题的第二步就变为行向量对列向量求导。

对于每一个小块矩阵，根据上述分解结果有：

 

 根据求导法则：

 

4.4 下来就是标量对标量的求导

最后结果矩阵为m*p行n*q列。至此结束。