深度学习第三次课-梯度下降与反向传播

原创 2016年06月01日 21:57:26

梯度下降

损失函数可视化


得分函数   f=W*X
损失函数   c=W*X-y   
目标    损失函数最小    最优化过程
可视化     
             一维
            二维   热力图
            如果损失函数是一个凸函数,例如SVM。
            凸函数 正系数加和=凸函数
           神经网络    costfunction    非凸   因为系数有正有负。

凸优化与最优化


神经网络最优化方法是梯度下降。梯度下降策略有:
1 随机搜索。随机生成一组权重,与之前的loss相比,小了,就是更更好的权重。

2 随机局部搜索。在现有权重的周围随机生成一组权重。选择最优权重。


3 顺着梯度下滑。梯度方向是函数增长最快的方向。随意顺梯度下降,就是最快能到达最小值的方式。梯度下降是初始值敏感的,不同的初始值可能到达的最小值点不同。一般使用高斯分布的随机小值。

       

梯度下降


梯度下降有两种解决。数值梯度和解析梯度。
数值梯度是按照导数公式   f(x0)' = (f(x0+h) - f(x0))/h   ,h是一个非常小的数。数值梯度解法简单,但是计算和参数呈线性关系,计算量大。
解析法:速度快,但是容易出错。利用f(x)导函数 f(x)' 计算梯度。

梯度下降的实现过程中有批处理、随机梯度、min-batch梯度下降。

梯度下降要理解梯度方向需要弄明白 梯度方向   三垂线  几个概念。我记录一点杂乱的东西在这里。
梯度:函数增长最快的方向。
梯度方向是等值曲线的法向量。是函数在某一点的变化率和变化方向。在一维函数的时候,梯度方向和



反向传播

反向转播是一个求偏导的过程。

链式法则




把   f(x,y,z)=(x+y)*z    在给定一个具体值的时候画一个网络结构图试试吧。前向计算每一步的得分。向后计算每一步的导数。



Sigmoid例子和公式推导

这个公式推导真心没推导出来。继续加油。

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习中常见问题_几种梯度下降法

随机梯度下降 批梯度下降 minibatch
  • u010402786
  • u010402786
  • 2016年04月19日 14:09
  • 9667

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器中提到两个对图像识别至关重要的概念: 用于把原始像素信息映射到不同类别得分的得分函数/score function 用于评估参数...
  • yaoqiang2011
  • yaoqiang2011
  • 2015年12月04日 18:58
  • 28547

深度学习深理解(一)-logistic回归与梯度下降法

总结一下今天的学习过程 感谢吴恩达老师 今天看了吴恩达老师讲的的深度学习基础概念 进一步理解了logistic回归与梯度下降法...
  • u013991917
  • u013991917
  • 2017年10月14日 22:23
  • 60

深度学习优化方法:梯度下降法及其变形

深度学习在许多情况下都涉及优化,在诸多的优化问题中最难得就是深度神经网络的训练:寻找深度神经网络上的一组参数θ,它能显著地降低代价函数J(θ)。J(θ)构成一个曲面或者曲线,我们的目的是找到该曲面的最...
  • AI_BigData_wh
  • AI_BigData_wh
  • 2017年09月17日 21:42
  • 269

【深度学习】梯度下降和反向传播

声明:本博客只是小白博主自己的记录博客,仅供参考。导数到底是什么?引用知乎上的一个回答 那么导数的本质是什么?就是变化率呗,例如小王今年卖了100头猪,去年90头,前年80头,,,也就是说每年增加1...
  • heimu24
  • heimu24
  • 2017年05月18日 16:51
  • 474

深度学习优化函数详解(1)-- Gradient Descent 梯度下降法

深度学习优化函数详解
  • tsyccnh
  • tsyccnh
  • 2017年07月23日 20:27
  • 1565

深度学习-梯度下降法是什么样的?

介绍梯度下降法的blog太多了,而且讲的都很细,但是我自己没大理解梯度更新的公式,最近想明白了,所以记下来。 假设要优化的代价函数是这样滴:,如下图: ,其中横坐标是Θ,纵坐标是C。 ...
  • h_jlwg6688
  • h_jlwg6688
  • 2016年09月24日 12:47
  • 1062

深度学习——梯度下降实现对感知器的权重优化问题的分析(理论加上梯度下降的代码实现)

神经网络感知器、梯度下降算法的说明。
  • u010055527
  • u010055527
  • 2017年12月24日 18:46
  • 30

深度学习笔记---梯度下降

目标:对于一个代价函数,寻找其最小值,即最低点。 方法:x减去当前梯度,即斜率,然后再得到y。 解释:如果当前点是A点,则斜率是正数,减去后x变小,y变小。 如果当前点是B点...
  • u012319493
  • u012319493
  • 2017年07月26日 21:02
  • 186

深度学习之(十一)Deep learning中的优化方法:随机梯度下降、受限的BFGS、共轭梯度法

Deep learning中的优化方法   三种常见优化算法:SGD(随机梯度下降),LBFGS(受限的BFGS),CG(共轭梯度法)。      1.SGD(随机梯度下降) ...
  • boon_228
  • boon_228
  • 2016年06月22日 17:09
  • 5533
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习第三次课-梯度下降与反向传播
举报原因:
原因补充:

(最多只允许输入30个字)