机器学习
未来不再遥远
这个作者很懒,什么都没留下…
展开
-
机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,向量对矩阵求导这几种形式的求导方法。本文所有求导布局以分母布局为准,为了适配矩阵对矩阵的求导,本文向量对向量的求导也以分母布局为准,这和前面的文章不同,需要注意。篇主要参考了张贤达的《矩阵分析与应用》和长躯鬼侠的矩阵求导术1. 矩阵对矩阵求导的定义假设我们有一个p×qp \times qp×q的矩阵FFF要对m×nm \times nm×n的矩阵XX原创 2020-08-12 15:14:27 · 689 阅读 · 0 评论 -
机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。需要一些简洁的方法。本文我们讨论矩阵向量求导链式法则,使用该法则很多时候可以帮我们快速求出导数结果。本文的标量对向量的求导,标量对矩阵的求导使用分母布局, 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。1. 向量对向量求导的链式法则首先我们来看看向量对向量求导的链式法原创 2020-08-12 14:35:25 · 617 阅读 · 0 评论 -
机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中,我们讨论了定义法求解矩阵向量求导的方法,但是这个方法对于比较复杂的求导式子,中间运算会很复杂,同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法。本文我们讨论使用微分法来求解标量对向量的求导,以及标量对矩阵的求导。本文的标量对向量的求导,以及标量对矩阵的求导使用分母布局。如果遇到其他资料求导结果不同,请先确认布局是否一样。1. 矩阵微分在高数里面我们学习过标量的导数和微分,他们之间有这样的关系:df=f′(x)dxdf=f'(x)dx原创 2020-08-12 13:49:08 · 450 阅读 · 0 评论 -
机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中,我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导,标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。对于本文中的标量对向量或矩阵求导这两种情况,如前文所说,以分母布局为默认布局。向量对向量求导,以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同,请先确认使用的求导布局是否一样。另外,由于机器学习中向量或矩阵对标量求导的场景很少见,本系列不会单独讨论这两种求导过程。1. 用定义法求解标量对向量原创 2020-08-12 12:35:27 · 377 阅读 · 0 评论 -
机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中,不时会使用矩阵向量求导的方法来简化公式推演,但是并没有系统性的进行过讲解,因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的。这里准备用几篇博文来讨论下机器学习中的矩阵向量求导,今天是第一篇。本系列主要参考文献为维基百科的Matrix Caculas和张贤达的《矩阵分析与应用》。1. 矩阵向量求导引入在高等数学里面,我们已经学过了标量对标量的求导,比如标量y对标量x的求导,可以表示为∂y∂x\frac{\partial{y}}{\partial{x}}∂x∂y。原创 2020-08-12 10:34:39 · 385 阅读 · 0 评论