矩阵求导总结

先说明一下字母的表示。例如A、B表示m * n的矩阵，X、Y表示n * 1的列向量，A‘、B’表示转置，x、y表示标量

 

矩阵求导可以分为以下几类：

1.标量y对列向量X求导

2.行向量Y‘ 对列向量X求导

3.列向量Y对行向量X’求导

4.矩阵A对标量x求导

5.矩阵A对列向量X求导

6.标量y对矩阵A求导

7.矩阵A对矩阵B求导

图片

 

1.标量y对列向量X求导

标量y的维数为1 * 1，而列向量X维数为n * 1，x1、x2……xn都是列向量x的元素

 

最终的结果为一个n * 1的向量。 

 

2.行向量Y’ 对列向量X求导

行向量Y‘的维数为1 * n，列向量X的维数为m * 1

 

 最终的结果为m * n的矩阵。

 

有几个重要结论：

         （X为n * 1的列向量，A为m * n的矩阵）

  

 

 

3.列向量Y对行向量X’求导

列向量Y的维数为n*1，行向量X‘的维数为1*m

 

 最终结果为n * m的矩阵。

 

  重要结论：

               

 

4.矩阵A对标量x求导

矩阵A为m * n，x的维数是1 * 1，其中f11、f12……fmn为矩阵A的元素

 

 简单来说，就是A的每一个元素对标量x求导，最终得出的结果为一个m * n的矩阵。

 

5.矩阵A对列向量X求导

A为m*n的矩阵，X为m * 1的列向量

 

 得出一个m*1的超向量。该向量的每一个元素是一个矩阵，可以理解为矩阵A对标量xi 的求导

 

6.标量y对矩阵A求导

y的维数为1 * 1，矩阵A的维数为m * n 

 最终得到m * n的矩阵。

重要结论：

第一条公式：u为m*1，X为m*n，v为n*1

第二条公式：u为n*1，X为m*n

第三条公式：u为n*1，X为m*n，v为m*1

 

7.矩阵A对矩阵B求导

 将A的每一个元素对B求导，排成一起形成超矩阵。

假如A为m*n，B为p*q，结果为mp * nq的矩阵。

 

8.向量积对列向量X求导运算法则

u、v为n*1的列向量，x为m*1的列向量