14.梯度检测、随机初始化、神经网络总结

最新推荐文章于 2024-01-17 15:37:20 发布
最新推荐文章于 2024-01-17 15:37:20 发布
阅读量231 收藏 1
点赞数
分类专栏： 机器学习(吴恩达机器学习笔记——持续更新中) 文章标签： 神经网络 机器学习 深度学习
本文为WJiaJiaBest博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
本文链接：https://blog.csdn.net/qq_44749630/article/details/125992179
版权

主要内容

  1. 梯度检测
  2. 随机初始化
  3. 神经网络算法步骤总结

一、梯度检测

  • 在采用反向传播算法时很容易产生于一些小的 bug(程序错误)，当它与梯度算法或者其他算法一起工作时，看起来能正常运行并且代价函数也在逐渐变小，但最后的到的神经网络的误差会比无 bug 的情况下高出一个量级，这时采用梯度检测就能很好的避免这些问题

  • 在每次使用神经网络或者其他复杂模型中实现反向传播或者类似梯度下降算法时，都建议做梯度检测

  • 梯度检验的基本思想 是利用数学上的导数/偏导数的定义的思想，在2*ε很小的情况下，将两点连线的斜率近似等于中点的曲线斜率，由此验证在算法中计算得到的导数/偏导的准确性

  • 在θ为实数的情况下，计算过程如下图：

在这里插入图片描述

  • θ是向量的情况下，计算过程如下图：

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

  • 假设通过中值定理得到的梯度为approxgrad，经过反向传播得到的梯度为grad，如果满足以下等式，则说明反向传播得到的梯度精度还行。

    在这里插入图片描述

  • 梯度计算正确的情况下，当算法进行学习的时候要关闭梯度检测，因为它非常耗时。

  • 在这里插入图片描述

二、随机初始化

  • 在之前的θ向量初始化采取的策略是：zero initializtion(对称权重问题 )，这样初始化会出现同层hidden unit完全对称，出现高冗余，权重都相同。

    在这里插入图片描述

  • 合理的应该采用随机初始化 的策略， 对于权重矩阵中的每一个θ，我们选用[-ε, ε]的均匀分布来初始化它。

    在这里插入图片描述

三、神经网络算法步骤总结

3.1 选择神经网络架构

  • 选择每一层多少个隐藏单元以及多少个隐藏层。

  • 输入层和输出层units由特征维度和分类个数决定。

  • 注意输出矩阵y需要写成成向量形式 as [1 0 0 …]T

    在这里插入图片描述

3.2 训练一个神经网络的基本步骤

  1. 随机初始化权重矩阵initialization weights

    • 通常把权重初始化为很小的值，接近于0

  2. 执行前向传播算法计算预测值forward propagation

    • 即对于神经网络中任意一个输入 x^(i) 计算出对于的 h(x^(i) )的值，也就是一个输出值 y 的向量

  3. 通过代码计算出代价函数J(θ)

  4. 执行反向传播算法来计算出偏导数项，即dJ/dθ

    • 具体实现过程：使用for 循环对m 个样本进行遍历，在循环内对每个样本进行前向和反向算法
    • 得到神经网络每一层中每个单元的激活值和 delta 项
    • 在循环体外通过 delta 计算出偏导数项

    在这里插入图片描述

  5. 梯度检验gradient check

    • 把用反向传播算法得到的偏导数值与用数值方法得到的估计值进行比较
    • 用梯度检测来确保两种方法得到基本接近的两个值，确保用反向传播算法得到的结果时正确的
    • 停用梯度检测

  6. 使用一个最优化算法（如梯度下降算法或者更加高级的优化算法）和反向传播算法相结合，来得到最小化 J(θ)

    • J(θ) 是一个非凸函数，理论上可能得到的是局部最小值

    在这里插入图片描述

如果觉得文章不错的话，可以给我点赞鼓励一下哦，欢迎收藏文章
关注我，我们一起学习，一起进步！！！

WuJiaYFN
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
梯度检测
NSSWTT的博客
07-18 1589
今天看Andrew Ng的视频，讲到了用梯度检测来验证反向传播算法的正确性，并参考了一些大牛的博客（nxf_rabbit75）,加深了对梯度检测的理解，然后趁热打铁，总结一下 一、梯度检测概述 实现神经网络的反向传播算法含有许多细节，在编程实现过程中很容易出现一些微妙的bug，但往往这些bug并不会影响程序的运行，而且你的损失函数看起来也在不断的变小。但最终你的程序得出的结果误差将会比那些无bug的程序高出一个数量级。 当我们对一个较为复杂的模型（例如神经网络）...
梯度检查
Harder_14的博客
09-11 266
1.导入包 import numpy as np from testCases import * from gc_utils import sigmoid, relu, dictionary_to_vector, vector_to_dictionary, gradients_to_vector 2.1维梯度检查 def forward_propagation(x, theta): """ Implement the linear forward propagation (
机器学习笔记——梯度检测方法概念和原理
weixin_30713953的博客
05-09 666
本文为博主原创文章，未经授权禁止转载。 我再csdn也同步发布了本文，欢迎大家访问 https://blog.csdn.net/umbrellalalalala/article/details/80249485 什么是梯度检测 概述 实现神经网络的反向传播算法含有许多细节，在编程实现中很容易出现一些 微妙的bug，但往往这些bug并不会影响你的程序运行，而且你的损失函数看样子也在不断变小。但最终...
机器学习入门~梯度检测
fatfairyyy的博客
03-15 579
梯度检测 什么是梯度检测： 在神经网络或其他复杂的模型下使用前向传播，反向传播时，如果使用梯度下降来寻找参数，那么使用梯度检测会100%地消除梯度下降过程中产生的bug。 一个例子：假设有一个代价函数J(Θ) 在横轴上取一点θ(θ∈R)，则这一点的导数对应于图像上在该点的切线斜率????。 计算该点切线的斜率，可以做一个近似，即： 在θ附近分别取点 θ+ε 和 θ-ε（易知ε为很小的值），两点在曲线上表现为 (θ+ε,J(θ+ε))和(θ-ε,J(θ-ε))，两点的割线斜率即可近似为θ点在曲线上的切
【神经网络】{10} ——梯度检测
Giyn
02-25 789
前面我们讨论了如何在神经网络中使用前向传播和反向传播来计算导数，但是反向传播算法含有许多细节，因此实现起来比较困难，并且它有一个不好的特性，很容易产生一些微妙的bug，当它与梯度下降或是其他算法一同工作时，看起来它确实能正常运行，并且代价函数J(θ)在每次梯度下降的迭代中也在不断减小。 在反向传播的实现中存在一些bug，但运行情况看起来确实不错，然而虽然J(θ)在不断减小，但是到了最后，你得到的神...
机器学习笔记——梯度检查(Gradient Checking) ——差分法
lanshahewu的博客
08-27 2598
梯度检查Gradient Checking ——差分法原因实现方法在实数范围内差分算法差分法在高纬度中使用神经网络中梯度检测的重要性 原因 之间讲过的线性回归还是逻辑回归，都是用到了梯度下降法，这里有个问题需要拿出来考虑一下： 由于各种因素，导致你在程序中实现的算法会出现一些BUG，带着这些BUG算法也能实现使成本函数（Cost function）呈现出下降的趋势，但是，由于BUG的存在，导致你的算法最后实现的结果 出现较大的偏差，但是，你此时并不知道已经发生的问题。 举个栗子（可能不恰当，仅仅是帮助理解）
【神经网络】梯度检测
weixin_45434953的博客
06-16 1124
的取值是一个可行的方法，但是它很容易出错：因为在这个算法中含有海量的细节，容易产生微小而又难以察觉的bug。的方法赖解决这种问题，只要需要使用类似梯度下降或者反向传播的算法都可以使用这种方法，这种方法能够确保你的前向\反向传播完全正确。还是会照常迭代下降，但是得出来的结果的误差将会比正确的情况高出一个量级。，如果成立的话，则可以认为反向传播是正确的，把DVex用于梯度下降则可以得出较好的结果。是一个很小的数，类似于微积分中的微小增量，一般可以将。，那么我们可以使用相同的办法得出对应偏导数的大约值。
梯度检测笔记
qq_44389898的博客
06-28 218
文章目录梯度检测概论1 基础原理1.1 拉格朗日中值定理1.2 验证公式2 梯度检验的实现3 注意事项 梯度检测 概论 在进行BP算法进行训练时，但是在训练时是否出现错误我们也不清楚，训练一旦开始，我们就只能观测到输出信息，如何检测反向传播算法是否正确工作呢? 梯度检验来了，它通过拉格朗日定理检测偏导值与实际的偏导函数之间的误差大小来判断是否出现了错误。 还有一点，在现有的训练框架中，这些细节都被封装起来了，但是作为学习，还是有必要搞清楚的其原理实现的。 1 基础原理 1.1 拉格朗日中值定理 f(θ+ε)
深度学习基础——梯度检验
mihexiaoxianglu的博客
09-10 67
梯度检验很慢，因此我们不会在每次训练中都运行它。通常，你仅需确保其代码正确即可运行它，然后将其关闭并将。梯度检验可验证反向传播的梯度与梯度的数值近似值之间的接近度（使用正向传播进行计算）。
梯度检验---实例代码
genous110的博客
04-15 480
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jiede1/article/details/76973494 在完成神经网络或softmax回归时，需要进行梯度检验。实际上，所有利用到求代价函数的偏导数的算法都需要利用到梯度检验。通过梯度检验，可以判断求得的偏导数是否正确。 梯度检验最核心的目的是，检验下面的式子是否成立： 其中，J是代价函数，...
Python吴恩达深度学习作业8 -- 深度神经网络的梯度检验
qq_41476257的博客
06-01 774
DNN梯度检验
图像处理之梯度及边缘检测算子
weixin_42491648的博客
07-17 2637
梯度是一个量变化的速度，在数学中通常使用求导、求偏导获取梯度或者某一方向上的梯度。在数字图像中梯度可以看为像素值分别在x,y方向上的变化速度，因为数字图像的离散型，以及像素是最小处理单元的特性，求数字图像的梯度时，不需要求导，只需要进行加减运算即可。
深度学习中的梯度检测：如何评估模型性能
禅与计算机程序设计艺术
01-07 682
1.背景介绍 深度学习是当今最热门的人工智能领域之一，它已经取得了显著的成果，如图像识别、自然语言处理、语音识别等。深度学习的核心是神经网络，神经网络由多个节点组成，这些节点被称为神经元或神经层。神经网络通过训练来学习，训练的目标是最小化损失函数。在训练过程中，梯度下降法是一种常用的优化方法，它通过计算梯度来调整网络参数，以最小化损失函数。 然而，梯度下降法并非无懈可击，它在某些情况下可能会遇...
梯度检测与分析：提前识别爆炸风险
禅与计算机程序设计艺术
12-27 236
1.背景介绍 在现代社会，爆炸风险的提前识别和预防已经成为了一项至关重要的技术挑战。这是由于爆炸事件往往会导致严重的人员伤亡、财产损失以及社会稳定的扭曲。因此，研究者们不断地在探索各种方法和技术手段，以提高爆炸风险的提前识别和预防能力。 在这篇文章中，我们将主要讨论一种名为梯度检测与分析的方法，它在爆炸风险识别方面具有很高的潜力。我们将从以下几个方面进行讨论： 背景介绍 核心概念与联系 核...
深度学习记录--梯度检验
最新发布
Xudong_12345的博客
01-17 635
对于单边误差和双边误差公式，其中双边误差与真实梯度相差更小，故一般采用双边误差公式。在每次迭代过程中，dropout会随机消除隐层单元的不同子集，J函数难以明确计算。为了对梯度进行检验，需要计算近似误差值来接近梯度。，则误差较大，需要考虑是否错误较多。梯度检验的计算时间较长，且通常在。的导数，计算出双边误差。，则误差很小，效果很好。，则误差一般，效果一般。
gradient checking（梯度检验）
天泽28的专栏
05-08 4854
Gradient Checking（梯度检验）         我们有时候实现完backward propagation，我们不知道自己实现的backward propagation到底是不是完全正确的（这篇博客只面向自己手撸的网络，直接搬砖的不需要考虑这个问题…..），因此，通常要用梯度检验来检查自
计算机科学cs/电子信息ei面试准备——数学基础/线性代数复习
m0_57656758的博客
07-24 1476
中值定理是反映函数与导数之间联系的重要定理，也是微积分学的理论基础，在许多方面它都有重要的作用，在进行一些公式推导与定理证明中都有很多应用。中值定理是由众多定理共同构建的，其中拉格朗日中值定理是核心，罗尔定理是其特殊情况，柯西定理是其推广，还有泰勒定理。中值定理_百度百科标量场的梯度是一个矢量场！这就是说，▽φ的模就是▽φ在给定点的最大方向导数，而其方向就是该具有最大方向导数的方向，亦即▽ φ的变化率最大的方向。 因此，我们定义标量场▽φ(x, y, z)在点P(x, y, z)处的梯度(gradient)
deeplearning系列（三）梯度检验
du_mengnan的专栏
10-08 7894
对计算的梯度值进行梯度检验，确保计算的梯度值是正确无误的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值