[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）

最新推荐文章于 2025-01-04 21:07:04 发布
最新推荐文章于 2025-01-04 21:07:04 发布
阅读量7.9k 收藏 12
点赞数 14
分类专栏： 机器学习 机器学习入门 文章标签： 机器学习 人工智能算法 梯度下降算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soulmeetliang/article/details/72830179
版权
本文介绍了机器学习中梯度下降的三个实用小贴士：如何调整学习率，使用Adagrad自适应学习率算法，以及特征缩放的重要性。讲解了Adagrad如何为不同参数提供个性化的学习率，并讨论了随机梯度下降如何加速训练，以及特征缩放在优化过程中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）

PDF VIEDO

Review

这里写图片描述
这里写图片描述

梯度下降的三个小贴士

Tip 1 Tuning your learning rates

这里写图片描述

  • 最流行也是最简单的做法就是：在每一轮都通过一些因子来减小learning rate。
    • 最开始时，我们距离最低点很远，所以我们用较大的步长。
    • 经过几轮后，我们接近了最低点，所以我们减少learning rate。
    • 比如： 1/t 衰减：
最低0.47元/天 解锁文章
[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）
Holeung blog
06-14 7869
[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习） PDF VIDEOIntroductionWhy semi-supervised learning helps?Semi-supervised Learning for Generative ModelSupervised Generative Model VS Semi-super
李宏毅机器学习笔记
m0_69646701的博客
08-15 582
记录学习李宏毅机器学习的过程，方便知识点的梳理。
李宏毅机器学习课程笔记1：Regression、Error、Gradient Descent
热门推荐
徐子尧的博客
03-28 1万+
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第1-3课所做的笔记和自己的理解。Lecture 1: Regression - Case Studymachine learning 有三个步骤，step 1 是选择 a set of function, 即选择一个 model，
2021李宏毅机器学习笔记--3.gradient descent梯度下降
guoxinxin0605的博客
04-19 309
2021李宏毅机器学习笔记--3.gradient descent梯度下降梯度下降基本步骤step 1：设定初始值step 2：计算微分step 3：移动到下一步梯度下降的注意事项tip 1：turning your learning rates ηAdagrad一种梯度下降的优化算法tip 2：stochastic gradient descent随机梯度下降tip 3：feature scaling特征缩放梯度下降的限制 梯度下降基本步骤 梯度下降法是用于帮助我们找到一个函数集中最好的函式，也就是损失函
2021李宏毅机器学习笔记--3.1tensorflow安装 与 gradient descent梯度下降练习
guoxinxin0605的博客
04-27 501
2021李宏毅机器学习笔记--3.1tensorflow安装 gradient descent梯度下降练习摘要1 tensorflow安装1.1 环境要求1.2 搭建开发环境2 用tensorflow进行gradient descent梯度下降练习2.1 源代码2.2 实验数据2.3 运行结果3 结果以及展望 摘要 本文主要介绍win7及以上版本的tensorflow安装的环境要求以及如何搭建环境进行安装，然后进行基础的梯度下降练习，梯度下降是机器学习课程中最基础的算法，用代码解释原理比较易懂。 1
2021李宏毅机器学习笔记--4 五种gradient descent梯度下降算法简介
guoxinxin0605的博客
05-02 450
2021李宏毅机器学习笔记--4 五种gradient descent梯度下降算法简介1 摘要2 五种梯度下降算法2.1 SGD2.2 SGD with momentum2.3 adagrad2.4 RMSprop2.5 Adam3 总结及展望 1 摘要 本文主要介绍了多种梯度下降算法，梯度算法主要是用于帮助找到最好的函式，也就是loss损失最小的函式，以便于我们训练出最好的模型，不同的梯度下降算法有其自己的特点，本文主要介绍五种梯度下降算法。 2 五种梯度下降算法 2.1 SGD SGD是stochas
李宏毅机器学习笔记-3 梯度下降（Gradient Descent）
Memory
05-20 988
3 Gradient Descent - 梯度下降 1 为什么要用 Gradient Descent 首先让我们回顾一下机器学习的三部曲， 在 step 2 中，我们要定义一个 Loss Function，用来判断我们找出的函数的好坏。 在 step 3 中，我们要挑出一个可以使得 Loss 函数值最小的一个函数，当做最好的函数。 想一想我们以前是怎么求一个函数的最小值的，或许看...
李宏毅机器学习笔记.pdf
08-11
李宏毅机器学习·笔记自己整理成了PDF，现在分享给大家。
李宏毅《机器学习》笔记
Kazeya的博客
11-17 1932
在GAN中，对于真实的训练样本的分布，记作PdataxPdata​x，这个分布也就是GAN试图去拟合、逼近的分布。另外有一个由参数控制的分布记作PGx;θP_G(x;θ，其实也就是GAN或者说Generator生成的对象的分布。简单来说我们的目标就是让PGx;θP_G(x;θ和越PdataxPdata​x接近越好。
李宏毅《机器学习》学习笔记
Virginica的博客
10-11 413
lecture 1 1. 人工智慧是想要达成的目标，机器学习是达成目标的手段，深度学习是机器学习的一部分。 机器学习：Looking for a function from data (speech recognition, image recognition, playing go, dialogue system…) 2. Framework: 机器学习步骤：Model (define a set of function) ，有训练资料(training data) →机器判断fn的好坏...
李宏毅机器学习笔记-Transformer
WBingJ的博客
01-01 1461
Transformer 中的每个 Block 结构较为复杂，不仅包括 self-attention 层和全连接（FC）层，还结合了 residual connections 和 layer normalization 技术，以提高模型性能和训练稳定性。
李宏毅 || 机器学习笔记一
JiduoW的博客
07-25 5343
李宏毅机器学习2021/2022年学习笔记
李宏毅机器学习课程笔记01 | Introduction of Machine/Deep Learning
最新发布
好好学习天天向上
01-04 1011
函数的输入是b和w，函数的输出是输入某个特定的b和w，模型结果是是好还是不好L越大说明模型不好，L越小说明模型好假设有一个损失函数L(0.5k,1) ，模型为y=b+wx1 => y=0.5k+1x1(k是千人的意思)训练数据(本案例过去的订阅次数)输入到模型(函数)中，比如x输入1月1日订阅人数4.8k，计算得到模型预测的y(1月2日订阅人数)为5.3k，但实际只有4.9k求取估测的值跟实际的值（Label） 之间的差距。
李宏毅机器学习笔记：机器学习介绍
qq_43711697的博客
08-01 793
前言 本文记录了关于机器学习的基本介绍，机器学习的一个基本的框架以及机器学习的相关技术，并且本文是基于台湾李宏毅机器学习课程的基础上所做的笔记。 一、机器学习介绍 机器学习是什么 机器学习的本质其实就是在寻找一个Function，这个Function可以满足我们的期望：输入一个特定的值，输出我们所需要的，比如在自然语言方面输入一段语音期望能够识别出语音的内容，在图像识别方面，输入图像期望输出图像内容的类别等等 机器学习的总体过程 机器学习的总体过程可以分为三个部分：第一找到特定的Functi
李宏毅机器学习总结笔记1
you_jinpeng的博客
06-04 613
课程学习内容介绍 一，方案： 1.监督学习（有标签） 2.半监督学习 比如识别猫狗，有少量猫狗有标签的照片还有很多没有标签的猫狗照片。 3.无监督学习 4.迁移学习（transfer learning） 5.强化学习（边感知自己的行为和结果，意识这样做对不对） 二，其它介绍 1.regression：一个机器学习task，输出一个数值。如：预测明天的pm2.5.输出明天可能的pm2.5值。 ...
李宏毅机器学习 Gradient Descent
herosunly的博客
05-20 5497
  在给定的函数空间中求解最佳函数，本质上是一个最优化问题，即求损失函数最小值对应的参数，然后将参数对应得到最佳函数。一种方法是解析解，但在机器学习中更加常用的是利用梯度下降求最小值。   如果大家想更加深入的学习梯度下降的相关内容，建议大家学习paper，标题为An overview of gradient descent optimization algorithms，下载地址为 https:...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值