深度学习第三次课-梯度下降与反向传播

原创 2016年06月01日 21:57:26

梯度下降

损失函数可视化


得分函数   f=W*X
损失函数   c=W*X-y   
目标    损失函数最小    最优化过程
可视化     
             一维
            二维   热力图
            如果损失函数是一个凸函数,例如SVM。
            凸函数 正系数加和=凸函数
           神经网络    costfunction    非凸   因为系数有正有负。

凸优化与最优化


神经网络最优化方法是梯度下降。梯度下降策略有:
1 随机搜索。随机生成一组权重,与之前的loss相比,小了,就是更更好的权重。

2 随机局部搜索。在现有权重的周围随机生成一组权重。选择最优权重。


3 顺着梯度下滑。梯度方向是函数增长最快的方向。随意顺梯度下降,就是最快能到达最小值的方式。梯度下降是初始值敏感的,不同的初始值可能到达的最小值点不同。一般使用高斯分布的随机小值。

       

梯度下降


梯度下降有两种解决。数值梯度和解析梯度。
数值梯度是按照导数公式   f(x0)' = (f(x0+h) - f(x0))/h   ,h是一个非常小的数。数值梯度解法简单,但是计算和参数呈线性关系,计算量大。
解析法:速度快,但是容易出错。利用f(x)导函数 f(x)' 计算梯度。

梯度下降的实现过程中有批处理、随机梯度、min-batch梯度下降。

梯度下降要理解梯度方向需要弄明白 梯度方向   三垂线  几个概念。我记录一点杂乱的东西在这里。
梯度:函数增长最快的方向。
梯度方向是等值曲线的法向量。是函数在某一点的变化率和变化方向。在一维函数的时候,梯度方向和



反向传播

反向转播是一个求偏导的过程。

链式法则




把   f(x,y,z)=(x+y)*z    在给定一个具体值的时候画一个网络结构图试试吧。前向计算每一步的得分。向后计算每一步的导数。



Sigmoid例子和公式推导


这个公式推导真心没推导出来。继续加油。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器中提到两个对图像识别至关重要的概念: 用于把原始像素信息映射到不同类别得分的得分函数/score function 用于评估参数...

机器学习中常见问题_几种梯度下降法

随机梯度下降 批梯度下降 minibatch

深度学习之(十一)Deep learning中的优化方法:随机梯度下降、受限的BFGS、共轭梯度法

Deep learning中的优化方法   三种常见优化算法:SGD(随机梯度下降),LBFGS(受限的BFGS),CG(共轭梯度法)。      1.SGD(随机梯度下降) ...

Deep learning系列(十)随机梯度下降

介绍了随机梯度下降法在使用过程中的一些技巧,包括使用动量和在迭代过程中逐步更新学习率。...

深度学习:基于梯度下降不同优化算法的比较总结

这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的原理。 SGD SGD指stochast...

【深度学习技术】手把手教你理解梯度下降法

什么是梯度下降法?高等数学告诉我们,梯度方向表示函数增长速度最快的方向,那么他的相反方向就是函数减少速度最快的方向。对于机器学习模型优化的问题,当我们需要求解最小值的时候,朝着梯度下降的方向走,就能找...

梯度下降法和误差反向传播推导

梯度下降法原理梯度下降法的示意图如下 前提:假设x⃗ 1×m\vec x_{1\times m}和y⃗ 1×n\vec y_{1\times n}的向量有一个函数关系y⃗ =f(x⃗ |θ)\vec...

梯度下降与反向传播详解

梯度下降 对于机器学习中其中一个主要的步骤是构造Cost函数,当构建好Cost函数后需要对Cost函数进行优化,使得Cost值最小。 * 策略1:随机寻找(不太实用) 最直接粗暴的方法就是,我...

我来介绍一下"反向传播学习算法"和"梯度下降法"

梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。     最速下降法的一种简单形式是:x(k+1)=x(k)-a...

对反向传播算法(Back-Propagation)的推导与一点理解

最近在对卷积神经网络(CNN)进行学习的过程中,发现自己之前对反向传播算法的理解不够透彻,所以今天专门写篇博客记录一下反向传播算法的推导过程,算是一份备忘录吧,有需要的朋友也可以看一下这篇文章,写的挺...
  • qrlhl
  • qrlhl
  • 2016年03月14日 13:35
  • 9750
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习第三次课-梯度下降与反向传播
举报原因:
原因补充:

(最多只允许输入30个字)