latex矩阵a怎么打_矩阵求导（四）常见矩阵求导公式证明

常见矩阵求导公式：

（c6）

,（c7）

，（c8)

,

（c9)

，（c10)

，（c11)

常见矩阵求导公式证明：

（c6）

，

，属于

型

证明：令

，是一个数，故属于

型。

单对

求导：

，故

。

注：这里采用分子布局的求导，即求导结果按分子的格式来，如果分子是标量，则标量对列向量求导的结果为行向量；如果分子是列向量，则向量对标量求导的结果为列向量。

（c7）

， 属于

型

证明:令

是一个数，

单对

求导：

，故

。

（c8)

， 属于

型

证明：令

是一个数，单对

求导：

，根据上面的公式（c6）

，故

,

所以

。

（c9)

， 属于

型

证明：令

是一个列向量

令列向量

的第i行为

,则

是一个数，

,故

。

（c10)

， 属于

型

证明：

可知

是一个行向量，令

，令

表示A的第j列，则

,根据公式（c6）

，故

,所以

。

（c11)

， 属于

型

首先引入公式

(后面再证明）

则令

，

再利用公式（c9）

和

可得：

。

总结：（1）分子布局还是分母布局看情况。

（2）分子布局和分母布局的区别：

分子布局和分母布局的区别

接下来继续采用矩阵求导的公式对逻辑斯蒂回归，SVM，EM，多层感知机等求导。

参考资料：

1.https://latex.91maths.com/，latex公式

2.这个百度文库和简书的矩阵求导简直太棒了，强烈推荐。

矩阵求导 分子布局 分母布局 Matrix Differentiation Numerator Layout Denominator Layout​wenku.baidu.com 机器学习中的矩阵、向量求导​www.jianshu.com

强烈建议好好看这两个。

3.https://blog.csdn.net/pipisorry/article/details/68961388

4.南瓜书

https://datawhalechina.github.io/pumpkin-book/#/chapter3/chapter3​datawhalechina.github.io

5.

线性回归原理小结 - 刘建平Pinard - 博客园​www.cnblogs.com