李宏毅机器学习笔记2-Gradient descent

最新推荐文章于 2024-09-05 00:00:00 发布
最新推荐文章于 2024-09-05 00:00:00 发布
阅读量174 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/singxsy/article/details/109060974
版权
本文介绍了梯度下降法的基本原理和局限性，探讨了Adagrad如何通过自适应学习率改进优化过程。Adagrad针对每个参数单独调整学习率，但在后期可能过于保守。此外，还提到了随机梯度下降(Stochastic Gradient Descent)加快训练速度的方法以及特征缩放在优化中的重要性，它能确保不同尺度的特征对模型影响的均衡，提高效率。最后，讨论了梯度下降可能陷入局部最小值或鞍点的问题。
摘要由CSDN通过智能技术生成

Gradien Descent

Gradient Descent 1

计算gradient
计算gradient 得到红色箭头
蓝色的箭头是movement
反复下去在这里插入图片描述
要小心的调 learning rate
蓝色 太小，太慢
绿色 没有办法走到最低的地方
黄色 一瞬间飞出去
可视化后所对应的损失函数与下右图所对应
在这里插入图片描述

Adaptive Learning Rates

在这里插入图片描述

Adagrad

在没有增加任何额外运算的前提下，想办法去估一下二次微分的值

每一个参数都分开来考虑
不同的参数，其learning rate都不一样
在这里插入图片描述
eg.
在这里插入图片描述
s q r t ( t + 1 ) 消 去 了 sqrt (t+1) 消去了 sqrt(t+1)消去了
在这里插入图片描述
整体而言，越来越慢，其实后面很慢
在这里插入图片描述
会不会有点矛盾
g^t ,越大分母那儿越小
直观的解释：造成反差
在这里插入图片描述
更合理的解释：。
上图只考虑一个参数的时候才成立 ，2a是对y作二次微分的来的，出现在最好的步伐的分母的地方

同时考虑几个参数时
在这里插入图片描述
在这里插入图片描述
与一次微分成正比，二次微分成反比
在这里插入图片描述
要比较a的微分➗二次微分 和 c的微分➗二次微分

在这里插入图片描述
多采几个样，就可以估计，在比较平的峡谷里二次微分比较小，在比较陡的峡谷里，二次微分比较大

Stochastic Gradient Desecnt

让训练更快一点
Adagrad每次计算所有的gradient
Stochastic 里每次只考虑一个x（example）

在这里插入图片描述
在这里插入图片描述

Fearture Scaling

不同的feature 让他们的scale一样，即分布差不多
在这里插入图片描述
在这里插入图片描述

左图中
w1对y的影响较小，稍微改变一下w1，对loss影响不是很大，比较平滑，w1为轴来看
w2对y的影响较大，改变w2，对loss的影响就是比较shark的，w2为轴来看
同一组learning rate 比较难搞定，不断更新。按照梯度走开始时，不会指着圆心

右图中
scale比较接近，update参数比较容易，梯度一直向着圆心，比较有效率

怎么做feature scaling？
其中一种方法
在这里插入图片描述

Gradient Descent Theory

update参数后，loss不一定会下降
在这里插入图片描述
画一个很小的圆圈，总能在邻域内找到使值最小的点时的参数
在这里插入图片描述
taylor展式
考虑一个variable时的例子
在这里插入图片描述
橙色线为sin x
在这里插入图片描述
多个参数时
在这里插入图片描述
同理，证明总能在邻域内找到最小的值，知道此时的参数值
在这里插入图片描述
在这里插入图片描述
其实就是gradient descent
在这里插入图片描述
红色圈圈无穷小时，才能保证这件事

Limitation of Gradient Descent

会卡在local minima（局部最小）的地方
saddle point（极点）的地方也可能卡住
在这里插入图片描述

视频链接

1 小破站
2 他的网页

无CCFA就不改名
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅机器学习笔记（3）—Gradient Descent
qq_37217397的博客
01-30 439
Gradient Descent 的技巧 下图是对偏微分的书写形式的补充说明，可以用倒三角来表示偏微分组成的向量，也就是梯度。所以下图左侧的式子可以写成下图右侧的式子。这种使用某一字符代表向量的写法可以大大简化书写，倒三角表示偏微分向量也能够简化书写。 Tip 1: Tuning your learning rates 第一个技巧也就是改变 learning rates 的速率。可以预见的是过小...
李宏毅机器学习笔记（ 三）Gradient Descent
syllasf的博客
01-14 188
gradient descent 梯度下降 复习：选两个参数 求偏微分 核心还是寻找低点 Tip 1: Tuning your learning rates 不能过大过小 Adaptive 适应的适合的 Adaptive Learning Rates Adagrad
机器学习Gradient Descent(梯度下降) + Momentum(动量)寻找局部最优解Local Minima的过程
车手只需要车和手，压力来自轮胎
07-29 890
Gradient Descent(梯度下降) + Momentum(动量) 上次 这里 介绍了Gradient Descent寻找最优解的过程 学习到发现还有一个算法就是加上Momentum(动量，就是上一次Gradient Descent后的步长值)来作为下一次更新位置的参数，这样来寻找局部最优解Local Minima的话，会比单独使用梯度下降法来求解效果更好。 Movement：最后一步的移动目前是最小的梯度 ...
李宏毅2020机器学习课程笔记-Gradient Descent
peacefairy的博客
09-16 297
Gradient Descent1、Gradient Descent的基本操作2、Gradient Descent的几个小tips3、Gradient Descent为什么会work？（原理）4、Gradient Descent的局限 1、Gradient Descent的基本操作 回顾一下机器学习的步骤，定义一个Model（function set），利用损失函数评估function的好坏，最后利用gradient descent 方法找到最优的function。 梯度下降法就是找到最优的参数解，使得损失
2021李宏毅机器学习笔记--3.gradient descent梯度下降
guoxinxin0605的博客
04-19 222
2021李宏毅机器学习笔记--3.gradient descent梯度下降梯度下降基本步骤step 1：设定初始值step 2：计算微分step 3：移动到下一步梯度下降的注意事项tip 1：turning your learning rates ηAdagrad一种梯度下降的优化算法tip 2：stochastic gradient descent随机梯度下降tip 3：feature scaling特征缩放梯度下降的限制 梯度下降基本步骤 梯度下降法是用于帮助我们找到一个函数集中最好的函式，也就是损失函
2021李宏毅机器学习笔记--3.1tensorflow安装 与 gradient descent梯度下降练习
guoxinxin0605的博客
04-27 411
2021李宏毅机器学习笔记--3.1tensorflow安装 gradient descent梯度下降练习摘要1 tensorflow安装1.1 环境要求1.2 搭建开发环境2 用tensorflow进行gradient descent梯度下降练习2.1 源代码2.2 实验数据2.3 运行结果3 结果以及展望 摘要 本文主要介绍win7及以上版本的tensorflow安装的环境要求以及如何搭建环境进行安装，然后进行基础的梯度下降练习，梯度下降是机器学习课程中最基础的算法，用代码解释原理比较易懂。 1
2021李宏毅机器学习笔记--4 五种gradient descent梯度下降算法简介
guoxinxin0605的博客
05-02 369
2021李宏毅机器学习笔记--4 五种gradient descent梯度下降算法简介1 摘要2 五种梯度下降算法2.1 SGD2.2 SGD with momentum2.3 adagrad2.4 RMSprop2.5 Adam3 总结及展望 1 摘要 本文主要介绍了多种梯度下降算法，梯度算法主要是用于帮助找到最好的函式，也就是loss损失最小的函式，以便于我们训练出最好的模型，不同的梯度下降算法有其自己的特点，本文主要介绍五种梯度下降算法。 2 五种梯度下降算法 2.1 SGD SGD是stochas
2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding
guoxinxin0605的博客
08-07 523
2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录 摘要 wijw_{ij}wij​ wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随
[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
Holeung blog
06-01 7824
[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降） PDF VIEDOReview 梯度下降的三个小贴士Tip 1 Tuning your learning rates 最流行也是最简单的做法就是：在每一轮都通过一些因子来减小learning rate。 最开始时，我们距离最低点很远，所以我们用较大的步长。 经过几轮后，我们接近了最低点，所以我们减
机器学习：opencv图像识别--图片运算、边界、阈值处理、平滑处理
纸上得来终觉浅
09-04 564
opencv图像识别--图片运算、边界、阈值处理、平滑处理
【机器学习】.fit_transform()跟.transform()的区别
2301_81133727的博客
08-31 650
在您的输出中，训练数据和测试数据的编码结果可能看起来不一致，这是因为训练数据中的类别和测试数据中的类别不完全匹配。然而，您的输出结果似乎假设了训练数据和测试数据中有相同的类别，这在实际情况中可能不是真的。默认将每个特征的每个唯一值转换成一个二进制特征，其中1表示该类别存在，0表示不存在。对于测试数据，我们有两个样本，每个样本有两个特征是1。，所以在第二个和第五个特征上是1，其余是0。参数，这样对于未知的类别，编码器会输出全0。，所以第一个和第四个特征是1，其余是0。用于训练数据来学习类别并转换它们，而。
机器学习（ML）算法分类
m0_46171719的博客
08-28 333
机器学习算法种类繁多，每种算法都有其独特的优势和适用场景。在选择算法时，需要根据具体问题的性质、数据的特征以及预期的结果来综合考虑。同时，随着机器学习技术的不断发展，新的算法和模型不断涌现，为解决复杂问题提供了更多的可能性。机器学习（ML）算法是一个广泛而多样的领域，涵盖了多种用于数据分析和模式识别的技术。监督学习算法使用标记（即已知结果）的训练数据来训练模型，以便对新数据进行预测。无监督学习算法不需要标记的训练数据，而是从数据中自动发现隐藏的模式或结构。
计算机毕业设计Spark+PyTorch知识图谱房源推荐系统 房价预测系统 房源数据分析 房源可视化 房源大数据大屏 大数据毕业设计 机器学习
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
09-05 808
计算机毕业设计Spark+PyTorch知识图谱房源推荐系统 房价预测系统 房源数据分析 房源可视化 房源大数据大屏 大数据毕业设计 机器学习
【机器学习】集成学习的基本概念、Bagging和Boosting的区别以及集成学习方法在python中的运用（含python代码）
ya的博客
09-04 756
集成学习在许多机器学习任务中都是一种非常有效的策略，尤其是在数据量较大、特征较多或者模型需要高度精确的情况下。通过合理地选择和组合不同的学习器，集成学习能够显著提升机器学习任务的性能总的来说，Bagging和Boosting都是有效的集成学习策略，但它们适用的场景和解决问题的侧重点不同。在实际应用中，选择哪种技术取决于具体的数据集和问题。
揭开面纱--机器学习
KongMingJue的博客
09-04 524
机器学习是什么？
深度学习--机器学习相关（1）
m0_63860007的博客
09-04 542
过拟合是指模型在训练数据上表现得很好，但是在新的、未见过的数据上表现不佳，即模型的泛化能力差。正则化通过在损失函数中添加一个额外的项来实现，这个额外的项通常与模型的复杂度相关，目的是惩罚模型的复杂度。算法通过计算损失函数在当前参数下的梯度，然后沿着梯度的反方向更新参数，以此减小损失函数的值。梯度平缓通常指的是在梯度下降算法中，当梯度（即损失函数对参数的偏导数）的值变得非常小，接近于零时，参数更新的幅度也会变得很小，这意味着我们接近了损失函数的最小值。在模型的内部，数据经过了非线性变换很难能够保持同分布。
机器学习和深度学习中常见损失函数，包括损失函数的数学公式、推导及其在不同场景中的应用
weixin_41174300的博客
08-28 1418
损失函数在模型训练中的角色是衡量模型的预测结果与真实标签之间的差异。损失函数的输出通常是一个非负数，越接近0表示模型预测越准确。
生成对抗网络(GAN)
前行居士
09-04 216
我们再举一个一维的简单例子说明PG和Pdata，我们假设生成器的输入是一个一维的向 量，如图1的橙色曲线，生成器的输出也是一维的向量，如图1的绿色曲线，真正的数 据同样是一个一维的向量，它的分布用蓝色曲线来表示。我们训练的结果是希望两个分布PG 和Pdata 越接近越好，即图片中的公式所示，表达的是这两个分布之间的差异，我们可以将其视 为两个分布间的某种距离，如果这个距离越大，就代表这两个分布越不像；对于连续的差异例如KL散度和JS散度是很复杂的，在实际离散的数据中，我们或许无 法计算其对应的积分。
李宏毅机器学习HW5-Transformer数据
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值