2021李宏毅机器学习笔记--3.gradient descent梯度下降

最新推荐文章于 2022-11-01 15:28:31 发布
最新推荐文章于 2022-11-01 15:28:31 发布
阅读量212 收藏
点赞数
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoxinxin0605/article/details/115840431
版权

2021李宏毅机器学习笔记--3.gradient descent梯度下降

梯度下降基本步骤

梯度下降法是用于帮助我们找到一个函数集中最好的函式，也就是损失函数最小的函式，它的做法分别为三步。

这里插入图片描述
L（f）表示的是函式f的损失函数数值，他用的是真实的数值与根据输入函数计算出来的估计值的误差的平方连加，有多少次输入就连加多少次误差的平方。
在这里插入图片描述

step 1：设定初始值

随机给定一组初始数值

step 2：计算微分

计算出来这一组值的偏微分的数值，此处的偏微分的数值代表的是loss函数图像在该点的斜率，当斜率为负时，表示图像左高右低，当斜率为正时，表示图像左低右高，参数值的改变应该向着使loss值更低处改变，因为我们的目的就是为了得到一个loss值最小的最好的函式。
在这里插入图片描述

step 3：移动到下一步

根据计算出来的偏微分进行参数位置移动更新。重复进行第二步第三步直至找到偏微分为0或者无限接近于0的位置的参数，此时这组参数构成

最低0.47元/天 解锁文章
guoxinxin0605
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
吴恩达深度学习笔记（8）-重点-梯度下降法（Gradient Descent）
Harpoon_fly的博客
11-23 557
梯度下降法（Gradient Descent）（重点） 梯度下降法可以做什么？ 在你测试集上，通过最小化代价函数（成本函数） J(w,b) 来训练的参数w和b ， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数）(上一篇文章已讲过） 梯度下降法的形象化说明 在这个图中，横轴表示你的空间参数w 和 b ，在实践中，w可以是更高的维度，但是为了更好地绘图，我们定义 w 和b，都...
梯度下降(Gradient Descent)算法详解
God_68的博客
12-23 2085
       梯度下降算法可以将代价函数（Cost Function）最小化且其常被应用于线性回归问题中，此外，还会应用于众多其他机器学习领域。梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数的最小值。下面是问题综述：          梯度下降背后的思想是：开始时我们随机选择一个参数的组合，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持...
adagrad原理 李宏毅 机器学习
weixin_43983838的博客
10-11 473
这一系列的博客，主要是记录在学校的Machine Learning实践课中，一些学习的过程，以及自己补充的基础知识（以引用来表示）。原理在西瓜书上都有，因此本系列博客主要是用python来实现，会包含一些公式。 “机器学习就是自动找函数” 转发一篇博客，是对adagrad的一点理解 链接：https://www.jianshu.com/p/a8637d1bb3fc 在看到李宏毅老师讲gradient decent的时候，讲到Adagrad方法，这里记录一下。 Adagrad是解决不同参数应该使用不同的.
李宏毅机器学习2020笔记（四）梯度下降 Adagrad 特征缩放（Feature scaling）
www588555的博客
04-15 690
一、Learning rate 1.Learning rate中的问题 如果learning rate刚刚好，就可以像下图中红色线段一样顺利地到达到loss的最小值 如果learning rate太小的话，像下图中的蓝色线段，虽然最后能够走到local minimal的地方，但是它可能会走得非常慢，以至于你无法接受 如果learning rate太大，像下图中的绿色线段，它的步伐...
李宏毅机器学习入门学习笔记（三）Gradient Descent
DataScience成长之路
02-19 805
文章目录什么是Gradient Descent（梯度下降法）？Review: 梯度下降法Tip1：调整 learning rates（学习速率）小心翼翼地调整 learning rate自适应 learning rateAdagrad 算法Adagrad 是什么？Adagrad举例Adagrad 存在的矛盾？多参数下结论不一定成立Adagrad 进一步的解释Tip2：Stochastic Grad...
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
最新发布
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
数值优化之梯度递降原理和实现（gradient descent）
张哥频道：电生理信号和磁共振成像
11-01 485
数值优化之梯度下降法原理和python快速实现。
tensorflow中实现自动、手动梯度下降：GradientDescent、Momentum、Adagrad
huqinwei的专栏
09-29 4236
tensorflow中提供了自动训练机制（见nsorflow optimizer minimize 自动训练和var_list训练限制），本文主要展现不同的自动梯度下降并附加手动实现。 learning rate、step、计算公式如下： 在预测中，x是关于y的变量，但是在train中，w是L的变量，x是不可能变化的。所以，知道为什么weights叫Variable了吧（强行瞎解释一发）...
ROS imu_filter_madgwick 源码分析
马踏飞燕
04-29 4211
主要对阅读imu_filter_madgwick这个功能包的主要源码提供了阅读的思路，适用于原功能包。 功能包在ros_wiki上可以找到。 <node pkg="imu_filter_madgwick" type="imu_filter_node" name="imu_filter_madgwick" output="screen" respawn="false" &gt...
《李宏毅机器学习》- Task2 梯度下降、误差偏差方差的关系、模型评估
weixin_38424903的博客
05-17 590
1、理解偏差和方差 偏差（bias）：表示测试样本集的测试期望值距离groundtruth期望值的偏差； a) bias越大，则说明预测结果越差，模型并未很好拟合训练集样本，欠拟合； b) 我们希望模型在测试样本上的bias足够小，那么就需要增加模型的复杂程度，或者简单理解为增加模型（映射函数）的泰勒展开式最高幂次。 方差（variance）：表示模型在测试集上的预测结果是否稳定，或预测值...
多层神经网络 —— 梯度下降法的优化
xuechanba的博客
05-23 1004
驻点和鞍点 梯度下降法是一种求解函数极值的方法，函数在某一点的梯度是一个向量，梯度方向为函数值变化最快的方向（也就是取得最大方向导数的方向）。 梯度下降法沿着损失函数的梯度方向更新权值， 不断的逼近极小值点，直到梯度为0时，停止迭代。 凸函数只有一个驻点， 即最小值点。 因此，当机器学习模型的损失函数是凸函数时，采用梯度下降法，只要步长足够小，那么一定可以收敛于最小值点。例如，前面介绍的线性回归和逻辑回归，它们的损失函数就是凸函数。 但是多层损失函数的损失函数不再是凸函数，而是一个复杂的非凸函数。非
机器学习入门系列04，Gradient Descent（梯度下降法）
热门推荐
yofer张耀琦的专栏
03-27 3万+
什么是梯度下降法？学习速率的引入；如何调整学习速率；Adagrad算法介绍；用泰勒展开式对梯度下降法进行数学理论支持
梯度下降算法（Gradient Descent)的原理和实现步骤
建建的博客
10-12 1万+
大部分的机器学习模型里有直接或者间接地使用了梯度下降的算法。虽然不同的梯度下降算法在具体的实现细节上会稍有不同，但是主要的思想是大致一样的。梯度下降并不会涉及到太多太复杂的数学知识，只要稍微了解过微积分里导数的概念，就足够完全理解梯度下降的思想了。 梯度下降的目的 绝大多数的机器学习模型都会有一个损失函数。比如常见的均方误差（Mean Squared Error)损失函数： （1） 其中，表示样本数据的实际目标值，表示预测函数根据样本数据计算出的预测值。从几何意义上来说，它可以看成...
梯度下降法（Gradient Descent）
asacell的博客
11-20 867
1 原理 在机器学习的核心内容就是把数据喂给一个人工设计的模型，然后让模型自动的“学习”，从而优化模型自身的各种参数，最终使得在某一组参数下该模型能够最佳的匹配该学习任务。那么这个“学习”的过程就是机器学习算法的关键。梯度下降法就是实现该“学习”过程的一种最常见的方式，尤其是在深度学习(神经网络)模型中，BP反向传播方法的核心就是对每层的权重参数不断使用梯度下降来进行优化。 梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法，是求解无约束优化问题最简单、最经
Adagrad
ACM之路
12-30 1934
给梯度逐元素加了一个平方和
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值