9 数学
高数->最优化、概率论->随机过程、线性代数->矩阵论等知识
/home/liupc
这个作者很懒,什么都没留下…
展开
-
梯度下降算法
概述梯度下降算法(Gradient Descent Optimization)是神经网络模型训练最常用的优化算法。对于深度学习模型,基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理:目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题,只需要将参数沿着梯度相反的方向前进一个步长,就可以实现目标函数的下降。这个步长又称为学习速率。参数更新公式如下:其中是参数的梯度,根...转载 2018-07-05 17:56:09 · 1023 阅读 · 0 评论 -
梯度下降法的推导(非常详细、易懂的推导)
梯度下降算法的公式非常简单,”沿着梯度的反方向(坡度最陡)“是我们日常经验得到的,其本质的原因到底是什么呢?为什么局部下降最快的方向就是梯度的负方向呢?也许很多朋友还不太清楚。没关系,接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。下山问题假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山。于是决定走一步算一步,也就是每次沿着当前位置最陡峭最易下山的方向前进一小步,然后继续...转载 2018-07-05 19:48:40 · 83825 阅读 · 27 评论