梯度下降+动量冲出鞍点（代码可视化）

最新推荐文章于 2024-07-15 11:44:18 发布
最新推荐文章于 2024-07-15 11:44:18 发布
阅读量1.1k 收藏 12
点赞数 8
分类专栏： 机器学习 文章标签： 可视化 算法 深度学习 python 随机梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42899627/article/details/108353127
版权

写在最前面的话：

我个人觉得可视化在理解一些概念的时候会有很大的帮助，所以我尝试了很久才构造出这个符合我想法的函数，这个函数的可视化效果也很直观，应该能对大家理解 梯度下降+动量 有些帮助

1 效果展示

1.1 纯梯度下降3D效果图（epoch=1000）

在这里插入图片描述

1.2 梯度下降+动量3D效果图（epoch=122）

在这里插入图片描述

1.3 函数的等高线效果图

在这里插入图片描述

2 代码讲解

了解本专栏 订阅专栏 解锁全文 超级会员免费看
G果
关注
专栏目录
订阅专栏
随机梯度下降SGD原理与代码实例讲解
程序员光剑
06-28 899
在机器学习和数据科学领域，训练一个模型通常涉及寻找参数集θ\thetaθ，使得损失函数LθL(\theta)Lθ尽可能小。损失函数衡量了预测值与真实值之间的差异，其形式多样，常见的如均方误差、交叉熵损失等。对于大型数据集或高维空间的问题而言，手动求解损失函数的全局最优解几乎是不可能的。因此，我们需要高效的优化算法帮助我们找到局部最优解或足够接近全局最优解的解决方案。梯度下降算法是一种用于求解最优化问题的方法，它的目标是找到能使损失函数LθL(\theta)Lθ取到最小值的参数θ∗。
动量梯度下降算法训练 BP 网络 matlab代码
12-16
采用动量梯度下降算法训练 BP 网络 matlab代码
自适应学习速率SGD优化算法
热门推荐
suixinsuiyuan33的博客
04-07 2万+
自适应学习速率SGD优化算法 链接： http://blog.csdn.net/suixinsuiyuan33/article/details/69229376 梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个
【深度学习系列】——梯度下降算法的可视化解释（动量，AdaGrad，RMSProp，Adam）！
中科院AI算法工程师的博客
06-10 1786
这是深度学习系列的第二篇文章，欢迎关注原创公众号 【计算机视觉联盟】，第一时间阅读我的原创！回复 【西瓜书手推笔记】 还可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 深度学习系列 【深度学习系列】——深度学习简介 笔记预览 在这篇文章中，由于有大量的资源可以解释梯度下降，因此，我想在视觉上引导您了解每种方法的工作原理。借助我构建的梯度下降可视化工具，希望我可以为您提供一些独特的见解，或者至少提供许多GIF。 这里的重点是比较和对比这些方法。 Vanill.
梯度下降代码还原+可视化
如云漂泊的博客
08-12 545
话不多说，直接上代码 import numpy as np import matplotlib.pylab as plt def numerical_gradient(f, x): h = 1e-4 grad = np.zeros_like(x) #生成和x形状相同的数组 for idx in range (x.size): tem_val = x[i...
可视化梯度下降
flyfish
11-25 1724
Python可视化梯度下降 flyfish 从简单开始 函数是y=(x−5)2+2y=(x-5)^2+2y=(x−5)2+2 红叉表示梯度下降的起点 x=0.5050505050505051x=0.5050505050505051x=0.5050505050505051 y=22.204570962146718y=22.204570962146718y=22.204570962146718 x轴代表的是我们待学习的参数θ（theta），y轴代表的是损失函数的值（即Loss值）， 曲线y代表的是损失函数。我
优化问题 | 梯度下降的知识整理、Python实现及batch_size参数的总结
然然然然_
10-27 1296
主要介绍了批梯度下降、随机梯度下降、小批量梯度下降及其算法实现和对学习率参数的数据模拟；更多的自适应算法；batch_size参数的一些总结和数据模拟。
人工智能|深度学习——常用的神经网络优化算法（从梯度下降到 Adam！）
最新发布
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
07-15 1006
优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数，就形成了损失函数E(x)。比如说，权重(W)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时，模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和算法，来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值。
机器学习：优化方式：梯度下降（随机，批量），动量，adagrad,Adam /未完
weixin_41108334的博客
11-07 875
一、梯度下降 梯度下降是一种优化算法，通过迭代的方式寻找模型的最优参数； 所谓最优参数指的是使目标函数达到最小值时的参数； 当目标函数是凸函数时，梯度下降的解是全局最优解；但在一般情况下，梯度下降无法保证全局最优。 微积分中使用梯度表示函数增长最快的方向；因此，神经网络中使用负梯度来指示目标函数下降最快的方向。 梯度实际上是损失函数对网络中每个参数的偏导所组成的向量； 梯...
优化算法之梯度下降（Gradient Descent）
01-20
一、梯度下降法 重申，机器学习三要素是：模型，学习准则，优化算法。这里讨论一下梯度下降法。 通常为了充分利用凸优化中的一些高效成熟的优化方法，像：共轭梯度、拟牛顿法等，所以呢很多的机器学习算法倾向于选择合适的模型和损失函数来构造一个凸函数作为优化的目标。但是呢，也有一些模型（例如神经网络）的优化目标是非凸的，以至于只能找到其局部最优解。 机器学习中，常用的优化算法就是梯度下降法，首先初始化参数θ0\theta_0θ0​,然后按照下列公式进行参数的更新： θt+1=θt−α∂R(θ)∂θ(式1) \theta_{t+1}=\theta_t-\alpha\cfrac{\partial\mathca
梯度下降算法(GD)及python代码实现可视化
weixin_40756000的博客
02-27 1233
梯度下降算法 什么是梯度？ 梯度的公式定义： gradf(x0,x1,⋯ ,xn)=(∂f∂x0,⋯ ,∂f∂xj,∂f∂xn) gradf(x_0,x_1,\cdots,x_n)=(\frac{\partial f}{\partial x_0},\cdots,\frac{\partial f}{\partial x_j},\frac{\partial f}{\partial x_n}) gradf(x0​,x1​,⋯,xn​)=(∂x0​∂f​,⋯,∂xj​∂f​,∂xn​∂f​) 梯度的本意是一个向量（
unity 二维数组 可视化_C语言二维数组鞍点问题
weixin_39931101的博客
10-22 194
求鞍点，就是行中的最大值，列中的最小值。代码//程序名：二维数组求最大最小值，鞍点。//版本jojo1.0//功能： 在二维矩阵中，一个元素既是它所在行中的最大值，也是它所在列中的最小值，该点叫做鞍点。编程自动生成并输出 3Ⅹ3 二维矩阵，//要求各元素值的范围为 1～99。输出全部元素中的最大值和最小值、鞍点值，如果没有鞍点，重新构造一个二维矩阵，直到第一次生成鞍点为止。#include&lt...
梯度下降法简述
vendetta_gg的博客
11-02 961
梯度下降法简述 BY:YANG LIU 1.什么是梯度下降? 梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。 方向导数: 梯度： 2.求解过程 梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。 3.简
深度学习：动量梯度下降法理论详解+代码实现
Hanze的博客
09-26 1640
其中偏导数代表了这个维度上移动的方向，学习率代表步长，我们把偏导数在每次优化参数时替换成加权平均的偏导数，这样考虑可以考虑前面的方向，因为当前方向前面的竖直方向是相反的，水平方向是相同的，于是就可以让函数值下降的震荡减小，速度加快。这种方法是好处是可以节约空间，算数平均法需要保留所有值才可以求平均，而指数加权平均只需要保留当前的平均值与当前时刻的值即可，在深度学习含量数据的背景下，可以节约内存并加速运算。现在，我们就又了优化的方向了，如果把竖直方向削弱，水平方向增强，我们的优化速度会事半功倍。
优化算法中的鞍点与梯度下降
Machine Learning with Tutors
12-25 1万+
摘要：本文将讨论寻找凸路径（ convex path ）时可能会遇到的不同类型的临界点（ critical points），特别是基于梯度下降的简单启发式学习方法，在很多情形下会使你在多项式时间内陷入局部最小值（ local minimum ） 。 凸函数比较简单——它们通常只有一个局部最小值。非凸函数则更加复杂。在这篇文章中，我们将讨论不同类型的临界点（ critical points）
几种梯度下降法比较最小值与鞍点（SGD、Momentum、NAG、Adagrad、Adadelta与Rmsprop）
jyjy0608的博客
04-05 1251
先上图： 研一寒假导师要求我们几个把这两幅动图用程序画出来，当时搜遍了网上没找到源代码，甚至还去推特问了图的原作者，后来没登录过，不知道回没回我哈哈。下面是两幅图的代码，可能不是非常还原。然后可以自己改一下线条颜色注释等等，用matplotlib画图的基础知识可以看一下B站莫烦的视频，链接在这儿：【莫烦Python】Matplotlib Python 画图教程_哔哩哔哩_bilibili如果某天你发现自己要学习 Matplotlib, 很可能是因为:Matplotlib 是一个非常强大的 Python
梯度下降法的理解以及马鞍点
weixin_45209433的博客
10-09 1418
一、梯度下降法 梯度下降法是训练神经网络常用的优化算法 梯度下降法基于以下的观察：如果实值函数f(x)在a点处可微且有定义，那么函数f(x)在点a沿着梯度相反的方向下降最快。 二、批梯度下降法 批梯度下降法：把所有的数据都遍历一遍，计算每个数据的梯度，然后将所有数据的梯度加起来，求平均，使用平均梯度更新参数值。 将所有的数据都计算完之后，更新一次参数。 特点： 在凸优化的情况下，一定会找到最优解； 在非凸优化情况下，一定能找到局部最优解； 不适合在线求解 三、随机梯度下降法 随机梯度下降法：每个ep
梯度下降法局部最优解和鞍点的问题
Bing_bing_bing_的博客
07-10 5926
陷入局部最优并不是神经网络的问题，在一个高维空间中做梯度下降，很难收敛到局部最优，因为局部最小值要求函数在所有维度上都是局部最小值。若一个维度收敛到局部最小值的概率是0.5，则n维度收敛到局部最小值的概率是0.5^n，因此若n足够大，则收敛到局部最小值得概率接近于0。 实际情况，在高维平面，函数会落在鞍点上。鞍点是函数在某一维度或多个维度上梯度不为0的点。因此，落在鞍点上的概率为1-0.5^n。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G果

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值