机器学习基础__03__梯度下降法

最新推荐文章于 2023-04-22 16:14:11 发布
最新推荐文章于 2023-04-22 16:14:11 发布
阅读量523 收藏 1
点赞数
分类专栏： 机器学习基础知识 文章标签： 梯度下降 SGD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwyl1001/article/details/103672119
版权
本文介绍了梯度下降法的基础知识，包括梯度的概念、方向导数、梯度下降法的三种形式：批量梯度下降、随机梯度下降和小批量梯度下降。重点讨论了每种形式的优缺点以及它们在参数更新中的应用。
摘要由CSDN通过智能技术生成

目录

1. 什么是梯度

1.1 方向导数

1.2 梯度

1.3  为什么沿着梯度方向函数增长最快

2. 梯度下降法

3. 梯度下降法的三种形式

3.1 批量梯度下降

3.2 随机梯度下降

3.3 小批量梯度下降

1. 什么是梯度

梯度是一个向量。（有大小有方向）

1.1 方向导数

导数
导数表示切线的斜率，公式如下：
                               f^{\prime}\left(x_{0}\right)=\lim _{\Delta x \rightarrow 0} \frac{\Delta y}{\Delta x}=\lim _{\Delta x \rightarrow 0} \frac{f\left(x_{0}+\Delta x\right)-f\left(x_{0}\right)}{\Delta x}
 

导数的物理意义表示函数在这一点的 (瞬时) 变化率。

 

偏导数
导数是针对单个自变量，考虑的是曲线上的切线，曲线上某个点的切线只有一条。
偏导数是针对多个自变量，考虑的是曲面上的，曲面上某个点的切线有无数条。

因为曲面上的每一点都有无穷多条切线，描述这种函数的导数相当困难。偏导数就是选择其中一条切线，并求出它的斜率。通常，最感兴趣的是垂直于 y 轴（平行于 xOz 平面）的切线，以及垂直于 x 轴（平行于 yOz 平面）的切线。
                                          
 

偏导数的物理意义表示函数沿着坐标轴正方向上的变化率。

方向导数
偏导数研究的是指定方向 (坐标轴方向) 的变化率，而方向导数是研究任意方向的变化率。
方向导数的物理意义表示函数在某点沿着某一特定方向上的变化率。

1.2 梯度

某个函数的方向导数有很多，最大的那个就是梯度。
函数在某点的梯度是一个向量，它的方向就是方向导数最大值的那个方向。
梯度方向函数值增加最快，梯度负方向函数值减小最快。

梯度公式
设二元函数f(x, y)在点p(x_0, y_0)处具有一阶偏导数，则定义
                            grad(f)_p = \{f_x^{'}(p), f_y^{'}(p)\}
为f(x, y)在

最低0.47元/天 解锁文章
山野村夫_pro
关注
专栏目录
Feature selection for high-dimensional classification usinga competitive swarm optimizer
qq_42148307的博客
10-07 356
在本文中，首先，使用竞争群优化器（），以解决高维问题；此外，引入了一种来降低计算成本；利用进行分类性能的计算。在6个基准数据集上的实验表明，与其他对比算法相比较，所提出的基于cso的特征选择算法不仅选择了更少的特征，而且具有更好的分类性能。
为什么随机梯度算法中每一次都只用一个样本，却能保证参数最后收敛？
我爱学习的博客
07-01 1453
    借鉴https://www.sohu.com/a/131923387_473283中的一段内容：随机梯度下降算法最大的缺点就是在每次更新时可能并不会按照正确的方向进行，因此可能在优化的过程中带来扰动。如图    批处理最后得到是一个局部的最小值，随机处理用每一个样本更新，可能没有使用全部的数据会在另一个地方找到了局部最小值。让我用一个例子来说明这个问题：    随机梯度处理就是比如你要找一...
Python中随机梯度下降法
最新发布
weixin_44754436的博客
04-22 946
的值，而竖轴表示算法收敛的迭代次数。可以看到，算法在不同的初始权重下都能收敛到大致相同的最优权重，这也验证了随机梯度下降算法的鲁棒性和适用性。批量梯度下降使用全部的训练样本来计算梯度，并更新模型参数，因此它的每一次迭代计算量较大，但对于凸优化问题，可以保证每次迭代都朝着全局最优解的方向前进，收敛速度较快，最终收敛到的结果也比较稳定。随机梯度下降则每次迭代仅使用一个样本来计算梯度，并更新模型参数，因此每次迭代的计算量较小，但收敛速度较慢，最终收敛结果也不够稳定，可能会陷入局部最优解。
梯度下降法
CYummy的博客
04-15 427
参考：https://blog.csdn.net/kevin_123c/article/details/51879935 机器学习中，常常会用到梯度下降法来减小损失，求解模型的最优解。 线性回归函数的一般可以写成：hθ=∑n j=0 θjxj 损失函数为： １、批量梯度下降法（BGD，batch gradient decent) 　　批量梯度下降法是每次迭代更新参数时，都用上所...
随机梯度下降_速度更快的随机梯度下降法
weixin_39705435的博客
12-17 617
0x00 前言 在之前介绍的梯度下降法的步骤中，在每次更新参数时是需要计算所有样本的，通过对整个数据集的所有样本的计算来求解梯度的方向。这种计算方法被称为：批量梯度下降法BGD(Batch Gradient Descent)。但是这种方法在数据量很大时需要计算很久。针对该缺点，有一种更好的方法：随机梯度下降法SGD(stochastic gradient descent)，随机梯度下降是...
机器学习10：如何理解随机梯度下降
weixin_39504171的博客
12-05 1111
机器学习10：如何理解随机梯度下降 链接：https://www.zhihu.com/question/264189719/answer/291167114 来源：知乎 1.梯度下降法 理解随机梯度下降，首先要理解梯度下降法。 大多数机器学习或者深度学习算法都涉及某种形式的优化，优化指的是改变x以最小化或最大化某个函数的任务，我们通常以最小化指代大多数最优化问...
GD.rar_GD算法 matlab_matlab 机器学习_matlab机器学习_机器学习_梯度下降
09-14
在机器学习领域，梯度下降（Gradient Descent）是一种广泛使用的优化算法，用于寻找目标函数的局部最小值。本资源“GD.rar”包含了MATLAB实现的梯度下降算法，是学习和理解机器学习中这一核心概念的理想工具。下面将...
(MATLAB__.rar_共轭梯度法_最速下降法_梯度下降_梯度下降 优化_梯度下降优化
09-24
例如，MATLAB的优化工具箱（Optimization Toolbox）包含了各种优化算法，包括梯度下降法和共轭梯度法。通过编写MATLAB代码，用户可以自定义目标函数和约束条件，进而调用相应的优化函数进行求解。 在提供的压缩包...
机器学习----梯度下降法
蒻菜_羊羊羊的专栏
11-01 500
回归(regression)、梯度下降(gradient descent) 发表于332 天前 ⁄ 技术, 科研 ⁄ 评论数 3 ⁄ 被围观 1152 次+ 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。 前言: 上次写过一篇关于贝叶斯概率论的数学
机器学习__梯度下降法.pptx
01-14
梯度下降法是一种广泛应用于机器学习中的优化算法，主要用于寻找函数的局部最小值。在给定的文件中，我们主要讨论了梯度下降法在解决机器学习中的分类、回归和聚类问题时的应用，以及如何在不同的问题类型中评估模型...
机器学习---梯度下降法
u012101561的博客
10-24 474
在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。    梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值
随机梯度下降法
qq_16032927的博客
03-10 4514
本文主要介绍随机梯度下降法
机器学习期末题库
Destiny_159的博客
06-14 2万+
1.属于监督学习的机器学习算法是：贝叶斯分类器2.属于⽆监督学习的机器学习算法是：层次聚类3.⼆项式分布的共轭分布是：Beta分布4.多项式分布的共轭分布是：Dirichlet分布5.朴素贝叶斯分类器的特点是：假设样本各维属性独⽴6.下列⽅法没有考虑先验分布的是：最⼤似然估计7.对于正态密度的贝叶斯分类器，各类协⽅差矩阵相同时，决策函数为：线性决策函数8.下列属于线性分类⽅法的是：感知机9.下列⽅法不受数据归⼀化影响的是：决策树10.下列分类⽅法中不会⽤到梯度下降法的是：最⼩距离分类器11.下列⽅法使⽤最⼤
随机梯度下降法（stochastic gradient descent，SGD）
热门推荐
qq_58146842的博客
11-12 7万+
梯度下降法 大多数机器学习或者深度学习算法都涉及某种形式的优化。 优化指的是改变特征x以最小化或最大化某个函数 f(x) 的任务。 我们通常以最小化 f(x)指代大多数最优化问题。 最大化可经由最小化算法最小化 ​​​​​​​-f(x)来实现。 我们把要最小化或最大化的函数称为目标函数或准则。 当我们对其进行最小化时，我们也把它称为损失函数或误差函数。 下面，我们假设一个损失函数为 ，其中 然后要使得最小化它。 梯度下降：梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给...
随机梯度下降法和批量梯度下降法
Data_Yan的博客
09-27 2492
转载： 　　在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。 　　比如对一个线性回归（Linear Logistics）模型，假设下面的h(x)是要拟合的函数，J(theta)为损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的样本个数，n是特征的个数。
gradient_descent_机器学习_toodj1_python_descent_梯度下降法_
09-30
梯度下降法是一种广泛应用于机器学习中的优化算法，主要用于寻找函数最小值。在这个实例中，我们将探讨如何使用Python实现梯度下降法，并结合数据文件"data.csv"进行实践。以下是关于梯度下降法及其Python实现的详细...
机器学习基础-4.梯度下降法
闲人勿
05-25 1169
一、梯度下降法梯度下降法本身不是一个算法，而是一种基于搜索的最优化方法，作用是最小化一个损失函数，这个损失函数不能够或者很难通过公式推导的方式得出一个解，所以需要用基于搜索的方法一步一步得到最终解。相对的有梯度上升法，即最大化一个效用函数，思想是完全一样的。...
梯度下降（Gradient Descent）小结
卢克治-BJTU-NLP-的博客
09-21 6016
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0,∂f/∂..
随机梯度下降算法
SimpleZihao的博客
11-12 1584
概述 随机梯度下降，和批量梯度下降原理类似，区别在于求梯度时没有用所有样本的数据，而是仅仅选取一个样本j来求梯度，更新公式为： 随机梯度下降法由于每次仅仅采用一个样本来迭代，训练速度很快 # -*- coding:utf-8 _*- # @author: Fu zihao # @file: pre01.py import numpy as np import random # 学习率 ALPHA = 0.001 # 允许的最大误差 ERROR = 0.01 X1 = np.array(
批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD）
Andyato的博客
10-01 3万+
梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这三种不同的梯度下降法进行理解。   为了便于理解，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值