简介
在学习ML和DL的时候,常常需要求解多元变量函数的偏导。矩阵求导是矩阵比较重要的运算法则之一。在代码实现的时候,采用矩阵形式要比for来得高效。下面是关于矩阵求导的一些笔记和链接,用于个人的学习与应用,若有帮助,不甚欣喜。
笔记
比较简要,主要是记一些能很快上手去做的东西。
链接
这一篇用比较通俗的语言间讲了链式法则,如果不太理解可以直接用法则进行实际问题计算即可。
大神,是关于AI中矩阵计算的系列文章,对原理和实例都有涉猎。里面通过Hessian矩阵来证明最小二乘法的全局最优让人豁然开朗。
实例+代码,研究的是逻辑蒂斯回归cost function的矩阵偏导,他笔记里面写的不是很详细,可以自己推下结果。
也是大神的随笔,该篇上下章详细讲了标量对矩阵、矩阵对矩阵的求导过程,和矩阵微分相联系,通过大量例子进行计算和说明。大部分引用的是《矩阵分析与应用》一文,但更详细也更具针对性。