机器学习中的梯度检验(Grad check)

最新推荐文章于 2023-06-16 10:34:46 发布
最新推荐文章于 2023-06-16 10:34:46 发布
阅读量1.5k 收藏 3
点赞数 5
分类专栏： AI 文章标签： 深度学习 神经网络 机器学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45870904/article/details/114048390
版权
本文详细介绍了深度学习中梯度检验的概念和重要性。通过数值逼近方法检查梯度的正确性，确保反向传播过程的准确性。梯度检验步骤包括将网络权重组合成大向量，进行数值梯度计算并与理论梯度比较。若两者欧式距离小，则通过检验。注意事项包括避免在训练中使用，用于debug，注意正则化项，不与dropout结合。当发现梯度问题时，应及时定位并修复代码。
摘要由CSDN通过智能技术生成

文章目录

梯度的数值逼近

在这里插入图片描述

大O表示法-表示逼近误差

用双边误差检验应该比单边误差检验更加合理，计算出的值更加接近导数的真实值

梯度检验(Grad check)

在这里插入图片描述
在这里插入图片描述

梯度检验的步骤：

  1. 首先将每一层的w,b进行连接和组合来组成一个巨大的向量，所以这时J的参数就只有一个大θ

  2. 然后用for遍历大θ对大θ中的每一个θ做梯度数值逼近计算，最终得到一个向量dθapprox （这里应该可以使用numpy进行向量化计算，不用for循环遍历）

  3. 然后用欧式距离衡量向量dθapprox与向量dθ的相似性，如果计算出欧式距离处于一个较小的值

    那么我们的梯度检验就获得了成功，如果没有，就说明在反向传播的过程中某一个导数的计算出现了问题

    这时就需要我们去debug

使用梯度检验的注意事项：

在这里插入图片描述

  1. 不要将其用到训练过程中 只是用来debug
  2. 检验出来反向传播梯度计算有问题后，就应该查看源代码定位问题
  3. 记住cost function的正则化项
  4. 不要和dropput(随机失活)方法一起使用
  5. 一般来说其会在经过一些训练后使用或者随机初始化后也可以用于检验一下
不爱写程序的程序猿
关注
专栏目录
deeplearning系列（三）梯度检验
du_mengnan的专栏
10-08 8002
对计算的梯度值进行梯度检验，确保计算的梯度值是正确无误的。
机器学习入门~梯度检测
fatfairyyy的博客
03-15 613
梯度检测 什么是梯度检测： 在神经网络或其他复杂的模型下使用前向传播，反向传播时，如果使用梯度下降来寻找参数，那么使用梯度检测会100%地消除梯度下降过程中产生的bug。 一个例子：假设有一个代价函数J(Θ) 在横轴上取一点θ(θ∈R)，则这一点的导数对应于图像上在该点的切线斜率????。 计算该点切线的斜率，可以做一个近似，即： 在θ附近分别取点 θ+ε 和 θ-ε（易知ε为很小的值），两点在曲线上表现为 (θ+ε,J(θ+ε))和(θ-ε,J(θ-ε))，两点的割线斜率即可近似为θ点在曲线上的切
gradient checking（梯度检验）
天泽28的专栏
05-08 5076
Gradient Checking（梯度检验）         我们有时候实现完backward propagation，我们不知道自己实现的backward propagation到底是不是完全正确的（这篇博客只面向自己手撸的网络，直接搬砖的不需要考虑这个问题…..），因此，通常要用梯度检验来检查自
机器学习梯度检验笔记
qq_43227036的博客
05-14 519
梯度的数值逼近   在实施dropout时，由于无法保证dropout是否正确，需要梯度检验来确保网络的正确。具体步骤是我们先通过双边差分计算出一个近似的梯度，和代码计算出的梯度比较，如果二者差的绝对值小于一个阈值，就可以认定计算正确。设函数f如下图所示：   对点θ\thetaθ加减ε\varepsilonε，其中ε\varepsilonε越小越好，由拉格朗日中值定理得： f′(θ)=f(θ+ε)−f(θ−ε)2ε=3.000 f^{'}(\theta) = \frac{f(\theta + \vare
梯度检验！
weixin_30684743的博客
08-31 215
梯度检验是在编写机器学习算法时必备的技术，可以检验所编写的cost函数是否正确 cost函数的主要功能是：计算代价函数、计算代价函数对参数的梯度 实际程序中，梯度检验要配合cost函数一起使用，可以将该部分单独放在一个测试函数checkCost() 中 ① 给定一组样本及参数初始值 ② 利用cost函数计算grad ③ 利用computeNumericalGra...
ufldl学习笔记与编程作业：Debugging: Gradient Checking（梯度检测）
linger(心怀梦想，活在当下，知乎ID：linger liu)
08-05 4965
ufldl学习笔记与编程作业：Debugging: Gradient Checking（梯度检测） ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。 在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。 于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。 新教程的地址是：http://ufldl.stanford.edu/tutorial/ ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。
机器学习中的python调用c
m0_59485658的博客
03-02 942
简介 前言，当查看tf python 代码时， 碰到一个函数实际由C++ 实现时， pybind11 动手学深度学习框架(2) - python端如何调用c++的代码 pybind11 是一个轻量级的只包含头文件(header-only)的 c++ 库，用于将 c++ 代码暴露给 python 调用（反之亦可，但主要还是前者）。 #include <pybind11/pybind11.h> // pybind11的头文件 // PYBIND11_MODULE 是一个
机器学习9-案例1：银行营销策略分析
柳杰的博客
09-15 5449
文章目录1.数据说明与预处理2.探索性分析3.数据的预处理与特征工程4.模型训练5.模型评价 1.数据说明与预处理 import pandas as pd import matplotlib.pyplot as plt # 加载数据 bank = pd.read_csv('data/bank-full.csv',delimiter=';') # 通过查看前五行简要查看数据集的构成 print(bank.head(5)) # 通过describe()和info()函数查看各类数据的分布情况 # 用 des
【机器学习项目】使用 PyTorch 预测汽车价格（详细报告+代码详解）
最新发布
m0_51118916的博客
06-16 5163
本实验旨在使用PyTorch构建一个预测汽车价格的模型。通过训练一个深度神经网络模型，我们可以利用汽车的各种特征（如品牌、型号、年份、里程数等）来预测汽车的价格。这将为汽车制造商和消费者提供一个有价值的工具，帮助他们做出更准确的定价和购买决策。
机器学习(Machine Learning)心得体会(4)神经网络Exercise 4:Neural Networks
zongzongzong2015的博客
12-19 1959
这篇主要内容是求得神经网络Theta的最优解，还是要用代价函数和梯度下降法来求解，对于神经网络来说，求得代价函数以及梯度要使用更加复杂的方法。     对于代价函数，由于每层都有Theta，而且维度也不一样，代价函数在之前的基础上进行改进，对于我们作业中给的数据，我们求他的代价函数如下图所示，后半部分是正则化，由于每层Theta维度不一样，所以要每一层进行求解，前半部分，我们要注意神经网络最优的
梯度检验Gradient Checking
07-22
梯度检验Gradient Checking梯度检验Gradient Checking
UFLDL之梯度检测Gradient Checking
shirleycyy的博客
04-14 238
课程地址点击打开链接
梯度检验（gradients checking）
东风的博客
01-28 1396
文章目录 3 - How does Gradient Checking work? Backpropagation computes the gradients ∂J∂θ\frac{\partial J}{\partial \theta}∂θ∂J​, where θ\thetaθ denotes the parameters of the model. JJJ is computed using forward propagation and your loss function. Because
深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4：Debugging: Gradient Checking
Flood Sung的专栏
11-20 5500
1 Gradient Checking 说明前面我们已经实现了Linear Regression和Logistic Regression，关键在于代价函数Cost Function和其梯度Gradient的计算。在Gradient的计算中，我们一般采用推导出来的计算公式来进行计算。但是我们看到，推导出来的公式是复杂的，特别到后面的神经网络，更加复杂。这就产生了一个问题，我们如何判断我们编写的程序就
深度学习笔记（十）—— 梯度检验[Gradient Checks]
zeeq的博客
03-11 3141
1. Use the centered formula   在计算梯度的时候，使用第二个式子的计算结果会比第一个式子好。 2. Use relative error for the comparison   在计算梯度误差时，应计算相对误差。   在实践中： 相对误差>1e-2 通常意味着年计算的梯度可能是错误的 1e-2>相对误差>1e-4 的结果不是很理想 相对误差<1e-4 在有kinks（第5点会讲到kinks是指什么）时这个结果通常是可以的。但如果没有kinks（例
吴恩达DeepLearning第二部分作业week1（3）Grad-check梯度检查
qq_30805765的博客
04-14 1178
开始完全整蒙了，还是半夜头脑清醒了。按着公式一点点打出来了，由于网上也没找到对照的也不知道对不对。 首先搬来自己写的多层神经网络 import scipy.io as scio import numpy as np import matplotlib.pyplot as plt def init(x): first_num = 10 second_num = 7 third_num = 3 np.random.seed(5) w1 = np.random.r
pytorch中的梯度检查，gradcheck（）函数
爱护阳光
11-12 8115
gradcheck(): gradcheck(func, inputs, eps=1e-06, atol=1e-05, rtol=0.001, raise_exception=True, check_sparse_nnz=False) Check gradients computed via small finite differences against analytical gradients...
BP神经网络（九）——梯度检验
freeline的博客
03-01 1317
在实现神经网络算法时，会遇到如何判断反向传播求解的梯度是否正确的问题.一步步理解并实现全连接神经网络——梯度检验。
梯度检验（Gradient checking），不是很明白，
Arthur_Holmes的博客
08-22 686
梯度检验（Gradient checking），不是很明白，
机器学习入门：梯度下降深度解析与可视化
梯度下降是一种在机器学习和优化问题中广泛使用的算法，用于找到函数的局部最小值。在机器学习中，我们通常的目标是找到一组参数，使得损失函数（即模型预测与真实结果之间的差异）最小化。对于初学者来说，理解梯度...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值