2022吴恩达机器学习（Deep learning）课程对应笔记19：检查梯度下降是否收敛&学习率选择

最新推荐文章于 2024-11-06 10:55:54 发布
最新推荐文章于 2024-11-06 10:55:54 发布
阅读量110 收藏
点赞数
分类专栏： 2022吴恩达最新机器学习课程 文章标签： 机器学习 深度学习 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/airuohan_/article/details/129677624
版权
文章讨论了在执行梯度下降时如何检查其是否收敛，建议通过观察损失函数随迭代减少的趋势，并设定一个阈值ε来判断收敛。此外，学习率的选择对模型优化至关重要，太小可能导致慢速收敛，而合适的学习率范围应能确保损失函数在每次迭代中降低。
摘要由CSDN通过智能技术生成

2022吴恩达机器学习（Deep learning）课程对应笔记19

检查梯度下降是否收敛&学习率选择

更新时间：2023/03/20
在这里插入图片描述

概述

当我们在左梯度下降是，应该怎么检查梯度下降是否收敛呢？下面是梯度下降的公式
在这里插入图片描述
值得思考的是，如何保证梯度下降正确的工作，

  • 首先我们要明确的目标是： m i n w ⃗ , b J ( w ⃗ , b ) min_{\vec{w},b}J(\vec{w},b) minw ,b​J(w ,b)，正常的迭代曲线应该如下如所示，随着迭代轮数的增加，损失函数的值在不断下降。下图就可以看出梯度下降是否在正确工作。
  • 另外你可以做一个自动收敛测试，设置一个 ε = 0.001 \varepsilon=0.001 ε=0.001，当KaTeX parse error: Undefined control sequence: \ver at position 3: J(\̲v̲e̲r̲{w},b)的值小于 ε \varepsilon ε时，通常认为已经收敛了。
    在这里插入图片描述

学习率选择

在这里插入图片描述
如何为模型选择学习率也是不错过模型最优的参数的重要因素之一。

  • 理论上用一个足够小的学习率，损失函数 J ( w ⃗ , b ) J(\vec{w},b) J(w ,b)在每次迭代中都会减小。只不过导致收敛得很慢。

在这里插入图片描述

  • 学习率可以尝试的一系列值如下所示
    在这里插入图片描述
bubu-_
关注
专栏目录
完结撒花！吴恩达DeepLearning.ai《深度学习》课程笔记目录总集
大树先生的博客
04-12 11万+
吴恩达 Coursera DeepLearning.ai《深度学习》系列课程笔记目录总集
吴恩达机器学习基础课程笔记
tjujackson的博客
03-06 941
吴恩达机器学习2022笔记
吴恩达机器学习作业Python实现(四)：神经网络(反向传播)
在无人问津的日子里默默努力
08-30 2063
理解神经网络是如何学习的一个很好的办法是，可视化隐藏层单元所捕获的内容，对于我们所训练的网络，注意到θ1中每一行都是一个401维的向量，代表每个隐藏层单元的参数。梯度检测主要是用来验证反向传播算法是否正确，在您的神经网络中，您正在最小化代价函数J(θ)，需要参数进行梯度检查，首先我们可以将θ1和θ2展开变成长向量θ，之后使用以下梯度检测过程，其计算使用了逼近思想，计算一点的导数可以取其临近两点的斜率代替，如果这两点足够近，那么就可以使用这个斜率代替该点导数。我们读入的y为（1，2，3，4，…........
[机器学习入门笔记] 2. 2022吴恩达机器学习Deeplearning.ai课程（回顾）
欢迎光临~
08-20 2271
吴恩达机器学习教学视频笔记，定期回顾优化更新~
2022吴恩达机器学习（Deep learning）课程对应笔记12：梯度下降3
bubu_的博客
03-20 85
下面是具体实现梯度下降算法。w和bw和bw和bww−α∂∂wJwbww−α∂w∂​Jwbbb−α∂∂bJwbbb−α∂b∂​Jwb其中α\alphaα是学习率，我们要同时更新w和bw和bw和b来是模型不断下降。同时更新w和bw和bw和btempww−α∂∂wJwbwtempww=temp\_wtempww−α∂w∂​。
2022吴恩达机器学习（Deep learning）课程对应笔记11：梯度下降2
bubu_的博客
03-20 100
下面是具体实现梯度下降算法。w和bw和bw和bww−α∂∂wJwbww−α∂w∂​Jwbbb−α∂∂bJwbbb−α∂b∂​Jwb其中α\alphaα是学习率，我们要同时更新w和bw和bw和b来是模型不断下降。同时更新w和bw和bw和btempww−α∂∂wJwbwtempww=temp\_wtempww−α∂w∂​。
2022吴恩达机器学习（Deep learning）课程对应笔记13：学习率
bubu_的博客
03-20 109
学习率在机器学习中扮演着很重要的角色，正如上节讲到参数www的更新方式ww−α∂∂wJwbww−α∂w∂​Jwb中所示，学习率也与www的更新有关。如果学习率α\alphaα选择得太小，那么迭代收敛的速度就会很慢，同时如果迭代到局部最小值点的时候，很有可能会陷入到局部最小值的附近。如果学习率α\alphaα选择得太大，那么很有可能在更新www时，错过最佳的www值使得JwJ(w)Jw错过最小值点。也有可能导致www。
2022吴恩达机器学习（Deep learning）课程对应笔记22：过拟合与正则化
bubu_的博客
03-21 122
2022吴恩达机器学习（Deep learning）课程对应笔记22。
吴恩达深度学习Deep Learning课程笔记
yxx35AN的博客
06-20 4091
在计算机中为了保存一张图片，需要保存三个矩阵，它们分别对应图片中的红、绿、蓝三种颜色通道，如果你的图片大小为64x64像素，那么你就有三个规模为64x64的矩阵，分别对应图片中红、绿、蓝三种像素的强度值。从简单的根据房子尺寸预测房价例子开始，拟合房价的过程从左抽象为右，输入房子尺寸，输出价格，这就是一个简单的神经网络，中间的圆圈就是一个独立的神经元。损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的总代价函数，即对。
吴恩达深度学习deeplearning.ai学习笔记（一）2.1 2.2 2.3 2.4
weixin_66188523的博客
08-01 857
如果定义为，当你学习这些参数时，后面讨论优化问题时会发现函数是非凸的，最后会得到很多个局部最优解，在使用梯度下降法时可能找不到全局最优值；当然有人也去研究了非凸函数的优化，建议看看老吴的采访视频，有很多启发；我们通过定义损失函数来衡量你的预测输出值和实际值有多么接近，一般设计成损失函数的值越小，代表接近效果越好，常用的logistic回归的损失函数定义为：一个粗浅的理解是枚举，如果，则，训练时会往损失函数降低的方向前进，当损失函数尽量小时，会尽量大，
302页吴恩达Deeplearning.ai课程笔记，详记基础知识与作业代码.
05-01
### 302页吴恩达Deeplearning.ai课程笔记精析 #### 一、课程背景及概览 此份302页的课程笔记由重庆大学的WanZhen精心整理，全面覆盖了吴恩达教授的Deeplearning.ai深度学习专项课程的核心内容与实践代码。笔记不仅...
吴恩达深度学习笔记
05-12
### 吴恩达深度学习笔记知识点解析 #### 一、深度学习概览 - **定义与重要性**：深度学习是机器学习的一个分支，通过模拟人脑中的神经元工作方式来处理复杂的数据模式识别和预测任务。随着计算能力的增强及大数据...
deeplearning深度学习笔记v5.1.pdf
05-14
除了基本的网络结构外，深度学习还包括了一些优化算法，比如Adam，这是一类自适应的学习率算法，能够在训练过程中根据梯度和历史信息自动调整学习率。Dropout是一种正则化技术，通过在训练过程中随机丢弃一部分神经...
机器学习—矩阵乘法
最新发布
yn3535_的博客
11-06 391
让我们来看看向量矩阵乘法，也就是当你把一个向量乘以一个矩阵，又得到一个向量，列向量a转置后得到行向量a，所以与其把这看作是一个2×1的矩阵，转置后就变成了1×2的矩阵，现在用这四个元素创建一个2×2的矩阵w，如果你想计算Z，Z=a转置W，结果z是一个2×1的矩阵，计算z的第一个值，我们要做一个a转置乘w1，所以要计算z的第一个元素，最终得到(1*3)+(2*4),然后计算第二个元素，现在将转置乘w2，，所以计算第二个元素，最终得到(1*5)+(2*6)。如何在向量之间取点积？
【机器学习】18. 反向传播 Backpropagation algorithm, 学习率，动量Momenetum, Xavier，梯度消失
weixin_48846514的博客
11-01 1088
反向传播 Backpropagation algorithm, 学习率，动量Momenetum, Xavier，梯度消失
机器学习—推理:做出预测(前向传播)
yn3535_的博客
11-01 343
这是一对零的可能性有多大，所以让我们逐步通过计算的序列，神经网络将需要从输入X这个8乘8或64个数字到预测概率a3，第一个计算是从X到1，这就是第一层或第一层隐藏层的作用，它对上标方括号进行计算，25代表这个隐层有25个单元，所以参数从W1到W25以及b1到b25，但也可以在这里写一个，因为按照惯例，零层的激活，即。最后一步是计算三，我们使用一个非常相似的计算来做到这一点，只是现在是第三层，输出层只有一个单元，所以这里只有一个输出所以3只是一个标量，你可以选择下标1，把它设为0.5得出一个二进制分类标签。
机器学习—构建一个神经网络
yn3535_的博客
11-02 471
然后把第一层的激活传递到第二层，相反，我们可以告诉Tensorflow我们喜欢它，把第一层和第二层串在一起形成一个神经网络，这就是张量流中的序列函数所做的，上边写着，亲爱的张量流，请为我创建一个神经网络通过顺序串在一起，我刚刚创建的这两层，事实证明，有了顺序框架，TensorFlow可以为你做很多工作。事实证明，TensorFlow是实现前向支柱的不同方式，在学习的同时，展示一种在Tensorflow中构建神经网络的不同方法，和之前一样你要创建第一层和第二层，但现在。
【机器学习】回归树
2303_80346267的博客
11-02 844
回归树是一种用于数值型目标变量的监督学习算法，通过将特征空间划分为多个区域，并在每个区域内使用简单的预测模型（如区域均值）来进行回归。回归树以“递归划分-计算区域均值”的方式逐层生成树节点，最终形成叶节点预测值。相比于线性回归，回归树更适合处理非线性和复杂数据结构。
【机器学习】决策树
2303_80346267的博客
11-02 1101
决策树是一种用于分类和回归任务的监督学习算法，它以树形结构递归地将数据分割成不同区域，使得最终的预测值尽可能纯净（即减少分类问题中的混杂度，或回归问题中的误差）。决策树算法简单直观、易于理解、解释性强，广泛应用于各类场景。本教程将详细介绍决策树的原理，重点解析构建决策树过程中的关键概念及其实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值