李宏毅机器学习-梯度下降

最新推荐文章于 2023-03-04 17:33:17 发布
最新推荐文章于 2023-03-04 17:33:17 发布
阅读量274 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41409438/article/details/104878747
版权

文章目录

学习率 learning rates

在这里插入图片描述

学习率的调整

learning rate 太小了 下降得太慢
learning rate 太大了 下降的很快 很可能永远达不到最低点
在这里插入图片描述

自适应学习率

随着次数的增加，通过一些因子来减少学习率通常刚开始，初始点会距离最低点比较远，所以使用大一点的学习率，update好几次参数之后呢，比较靠近最低点了，此时减少学习率
在这里插入图片描述

Adagrad 算法

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在 Adagrad 中，当梯度越大的时候，步伐应该越大，但下面分母又导致当梯度越大的时候，步伐会越小。考虑的更多的是反差，如果有某个参数反差很大，分母是过去的gradient。
在这里插入图片描述
最好的步伐应该是一次微分/二次微分
在这里插入图片描述

随机梯度下降

经典的梯度下降法采用所有的训练数据的平均损失来近似目标函数。经典的梯度下降法在每次对模型参数进行更新时，需要遍历所有的训练数据。当M很大的时候，就需要耗费巨大的计算资源和计算时间，这在实际过程中基本不可行。那么，该怎么办呢？
为了解决该问题，随机梯度下降法(Stochastic Gradient Descent, SGD)应运而生。它采用单个训练样本的损失来近似平均损失

特征缩放

泰勒展开式

在这里插入图片描述

在这里插入图片描述

多变量展开式

在这里插入图片描述

梯度下降限制

local minima
stuck at saddle point
very slow at the plateau
在这里插入图片描述

想想虔诚怎么做
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅机器学习笔记-3 梯度下降（Gradient Descent）
Memory
05-20 911
3 Gradient Descent - 梯度下降 1 为什么要用 Gradient Descent 首先让我们回顾一下机器学习的三部曲， 在 step 2 中，我们要定义一个 Loss Function，用来判断我们找出的函数的好坏。 在 step 3 中，我们要挑出一个可以使得 Loss 函数值最小的一个函数，当做最好的函数。 想一想我们以前是怎么求一个函数的最小值的，或许看...
李宏毅机器学习系列-梯度下降法
王伟王胖胖的博客
08-12 791
李宏毅机器学习系列-梯度下降法梯度下降法回顾调节学习率 梯度下降法回顾 我们再定义损失函数之后，我们希望损失函数越小越好，于是想要寻找到一组参数θ∗\theta^*θ∗,使得他让损失函数取得的最小值，即： θ∗=argmin⁡θL(θ)\displaystyle \theta^*= arg \min_{\theta} L(\theta) θ∗=argθmin​L(θ) 我们假设θ\thetaθ只有...
李宏毅机器学习笔记：梯度下降
qq_43711697的博客
08-01 528
前言 本文是基于台湾李宏毅机器学习的笔记，本文主要记录关于梯度下降的知识点 一、梯度下降 梯度下降法简介 梯度下降的优化目标是使得损失函数L最小，其中θ为参数，假设 θ 有里面有两个参数 θ1, θ2 随机选取初始值 ，η为学习率 梯度下降遇到的问题 梯度下降过程中可能会遇到马鞍点，局部最小点，下降速率过慢等等情况，如下图所示，这些情况导致的后果就是梯度约等于或等于0，即梯度消失，在深度学习中，对于梯度消失问题尤其看重，梯度消失意味着网络失去了活性相当于网络死亡。 二、梯度下降优化
李宏毅机器学习——梯度下降
日积月累，天道酬勤
11-17 438
梯度下降回顾 在前篇文章中介绍的机器学习三步走第三步中，我们需要解决下面优化问题： θ∗=arg min⁡θL(θ)\theta^*=arg\,\min_{\theta}L(\theta)θ∗=argminθ​L(θ) 假设θ\thetaθ向量有两个属性{θ1,θ2}\{\theta_1,\theta_2\}{θ1​,θ2​} 初始从θ0\theta^0θ0开始， θ0=[θ10θ20] \the...
机器学习 李宏毅 L6-梯度下降法
okgagaga的博客
01-27 356
梯度下降法回顾 在GD的第三步，存在一个优化问题，即对于一个模型，存在以参数为自变量，以误差为因变量的损失函数。可以采用梯度下降法进行优化求解， 梯度下降法的注意事项 1. 调整Learning rate： 如果learning rate较小，则会出现下降缓慢的情况；如果learning rate较大，则会出现震荡现象。 可以通过Loss与迭代次数的图像来观察Learning r
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记 本资源主要介绍了 Adaptive Learning Rate 的基本思想和方法，以及相关的算法和策略，如 Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up 等。 Adaptive Learning Rate 的主要思想是...
李宏毅机器学习笔课件
01-18
《李宏毅机器学习笔记详解》 在当今的数字化时代，机器学习作为人工智能的重要分支，已经深入到我们生活的各个领域。李宏毅教授的机器学习课程因其深入浅出的讲解方式，深受广大学习者喜爱。这份“李宏毅机器学习笔...
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
最新发布
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
《李宏毅2020机器学习作业3：Python实现深度学习基础》 在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和...
李宏毅-深度学习之梯度下降
weixin_43848117的博客
07-21 198
回归算法的应用 1.梯度下降（Gradient Descent） 1.1什么是梯度下降 梯度下降算法（随机梯度下降算法（SGD）、小批量梯度下降算法（mini-batch SGD））都需要对于每一个参数都用相同的学习率进行更新。 但是在实际应用中，各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。 1.1.1自适应学习率（Adaptive Le...
李宏毅机器学习-----------Gradient descent（梯度下降）
cuicui_ruirui的博客
07-21 264
引入Gradient descent（梯度下降）的目的是找到参数使损失函数的值最小。 假设损失函数有两个参数，θ={θ1，θ2} 首先任意找一个初始值θ0，再依次求下一个θ。具体如下图。橙色部分为梯度。 下图为找使损失函数最小的θ的过程。红线表示的是梯度（是两个向量在空间上的和），蓝线表示的是-η▼L（θ） 做梯度下降时的注意点。 1.小心调整learning rate（η）。 如下图所示，左图表示的不同大小的η对LOSS的影响。红线时正确的合适的η下的过程。蓝线是η过小时，这种的会很.
李宏毅机器学习笔记（三）: 梯度下降
codelady_g的博客
10-06 199
一、基本过程 解决一个优化问题，通常需要构造一个 LossFunctionLoss FunctionLossFunction ，找到最优的参数 θ\thetaθ 使 LossFunctionLoss FunctionLossFunction 最小： θ∗=arg⁡max⁡θL(θ),L:lossfunctionθ:parameters\theta^*=\mathop{\arg\max}\limits_{\theta}L(\theta),\quad L:loss function \quad\theta:p
李宏毅机器学习—梯度下降
qq_44858789的博客
03-04 299
李宏毅机器学习—梯度下降
李宏毅机器学习 03梯度下降
yutc0202的博客
10-15 255
梯度下降
3、【李宏毅机器学习（2017）】Gradient Descent（梯度下降）
Jimmyzqb的博客
08-28 3906
本节课将深入学习机器学习简介中机器学习建模步骤3中优化方法Gradient Descent（梯度下降）。 目录 梯度下降算法介绍 自动调整学习速率 学习速率对算法的影响 Adagrad 随机梯度下降 Feature Scaling 理论部分 梯度下降算法的限制 梯度下降算法介绍 自动调整学习速率 学习速率对算法的影响 如果学习速率适合，那么优化Loss...
李宏毅机器学习2022.7.15--梯度下降
ww9878的博客
07-16 358
在解决最优化的问题中我们需要找到最小一组的θ，让损失函数越小越好。首先任意选取w0和b0的值，对于w1和b1进行updateη为学习率，人工设值。重复上面的步骤不停的更新wi和bi直到无变化。在updatewi和bi的过程即为梯度下降。偏微分部分为梯度部分。......
机器学习 ：李宏毅：线性回归 梯度下降：（goodness of function）
老油子的博客
10-17 1538
线性回归 笔记记录
李宏毅《机器学习》丨3. Gradient Descent（梯度下降）
AXYZdong的博客
06-18 503
Datawhale组队学习，李宏毅《机器学习》Task3. Gradient Descent（梯度下降）。
台大李宏毅--梯度下降Gradient Descent
丁磊_ml的博客
03-25 1298
一：简单梯度下降 1. 概述 预测模型为 y=b+w∗xcpy=b+w∗xcpy=b+w*x_{cp},真实标签为y^ny^n\hat{y}^n，则损失函数loss function为 我们目的是最小化 损失函数L(w,b)，即找出最佳的w∗,b∗w∗,b∗w^*,b^* 即 处理方法 ： 梯度下降法 2. 仅含一个参数的梯度下降 对某一个参数的偏导数，就是对损失函数在这个参数的...
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值