深度学习（二）Gradient Descent——笔记

最新推荐文章于 2024-07-21 14:23:07 发布
最新推荐文章于 2024-07-21 14:23:07 发布
阅读量670 收藏
点赞数
文章标签： 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45649258/article/details/123881067
版权

目录

Gradient Descent

1. 梯度下降

寻找一组参数，来让损失函数尽可能小
在这里插入图片描述
在这里插入图片描述

2. 改进方法

2.1调整学习率

Learning Rate Small 步长小
Learning Rate Ver large 步长非常大
Learning Rate Just make 步长刚刚好
Learning Rate Large 步长大

2.2自适应学习率

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

梯度对迭代值的大小影响相反：梯度值在分子上，梯度越大，迭代值的更新就越大；之前梯度的方均根在分母上，梯度越大，迭代值的更新越小。

2.3直观原因

梯度变化大
在这里插入图片描述

数学原因，大一点的一阶导数表示距离极小值更远
在这里插入图片描述

在此图中，c点距离极值点更近
在这里插入图片描述

2.4随机梯度下降
在这里插入图片描述

3. 特征缩放

在这里插入图片描述
在这里插入图片描述

鹿衔草啊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习—学习笔记（二）
weixin_45703411的博客
02-19 363
模型选择、过拟合和欠拟合 1、训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和...
深度学习笔记（二）
liuyuexian123的博客
03-24 392
深度学习笔记（二） 文章目录深度学习笔记（二）前言一、偏导数二、梯度三、链式法则总结 前言 数学分析没学好，再来复习一下偏导数、梯度、链式法则。 一、偏导数 在深度学习中，函数通常依赖于许多变量。因此，我们需要将微分的思想推⼴到这些 多元函数（multivariate function）上。设 y = f(x1, x2, . . . , xn) 是⼀个具有 n 个变量的函数。y 关于第i 个参数xi的偏导数（partial derivative）为： 为了计算 ∂y/∂xi ，我们可以简单地将
李宏毅深度学习笔记1-4Gradient Descent
qq_34340574的博客
07-05 158
1、梯度下降的步骤 选择初始点，求偏微分，按梯度下降公式和学习率移动点。最终到达最低点。梯度也可以理解为等高线的法线方向，但是梯度下降取的是梯度的相反方向。 2、学习率的大小对算法的影响 学习率过大会在最低点附近震荡，甚至直接越过最低点，学习率太低，移动速度会很慢，要调整学习率，使得Loss function下降的最快 3、学习率的调整方法 1）随着参数的更新，学习率不断变小，并将参数的学习率分开计算。 一般的方法： wt+1=wt−ηtgtw^{t+1}=w^t-\eta^tg^twt+1=wt−ηtg
从零开始深度学习 T2. Gradient Descent
myta0424的专栏
09-13 851
上一篇文章中介绍了回归分析，其中提到了求解最优参数的梯度下降法(Gradient Descent)，这篇文章中，我们将针对Gradient Descent进行展开说明。 如图，Gradient Descent是沿着Loss function的等高线的法线方向更新参数的Gradient Descent的原理十分简单，但是在实际操作过程中可能会遇到一些问题，对此有一些针对性的tips。关于梯度下降优化
深度学习2Gradient Descent
qq_43573054的博客
08-19 72
学习率需要仔细调节 过小训练慢 过大可能忽略最低点 自动调节学习率
李宏毅机器学习——学习笔记(一)——Gradient Descent
weixin_45568353的博客
10-14 331
Gradient Descent
深度学习中梯度及梯度法
Answer3664的博客
06-08 9517
梯度 简单来说，例如有 像这样的全部由变量的偏导数组成的向量称为梯度（gradient）。 实际上，梯度会指向各点处的函数值降低的方向。更严格的讲，梯度指示的方向是各点处的函数值减少最多的方向。 为什么这么说，因为方向导数=cos()×梯度，而是方向导数的方向和梯度方向的夹角。所以，所有的下降方向中，梯度方向下降的最多。 梯度法 神经网络的主要任务是在学习时找...
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
pytorch学习笔记（十五）————Early Stop，Dropout
01-20
为了平衡效率和稳定性，实践中通常采用mini-batch的SGD，即每次基于一小批样本（Batch Size）进行参数更新，这种方法称为Mini-Batch Gradient Descent。 在PyTorch中，我们可以使用`optim.SGD(model.parameters(), ...
machine-learning:机器学习算法学习笔记
05-10
本学习笔记主要涵盖了两个核心概念：矩阵的范数和条件数，以及两种优化策略——批量梯度下降和随机梯度下降。这些都是机器学习模型训练过程中不可或缺的基础知识。 首先，让我们深入理解矩阵的范数和条件数。在数学...
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、...
【深度学习 理论】Gradient Descent_1-1
热门推荐
一定要站在自己热爱的生活里闪闪发光
07-18 3万+
首先简单介绍一下【梯度】和【梯度下降】的概念。 梯度：对于可微的数量场，以为分量的向量场称为的梯度或斜量。简单的说，梯度就是导数（对于多维就是偏导数）。 梯度下降法(gradient descent)是一个最优化算法，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。梯度下降包含两个意思：一是根据梯度的符号来判断最小值点在哪；二是让函数值变小。 梯度下降作用是找到函数的最小值所对应的自变量的值.
机器学习-梯度（gradient）与梯度下降（gradient discent）
w576233728的博客
05-14 1873
梯度（gradient）是机器学习中一个重要概念，梯度下降（gradient descent）也是机器学习常用的最优化算法。一，梯度我们从导数讲起：定义：我们从上面可以直观看出，对于一元函数，导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。然后来看偏导：定义：从上面可以看出，偏导数是导数的多元情况。偏导反映的是函数在某一点沿某一坐标轴正方向的变化率。方向导数：定义：方向导数反映的是函数...
通俗理解深度学习梯度累加(Gradient Accumulation)的原理
daimashiren的博客
05-28 2408
首先你得明白什么是梯度，可以看我之前写的一篇博客 ： 微分与梯度的概念理解 本质上，梯度是一种方向导数，是一个矢量，因此这里的梯度累加并不是简单的相加，而是类似于初高中物理学的力的合成，梯度作为一种方向导数(矢量)的其累加的效果就是将各个小的梯度合成为一个指向Loss function 最终优化方向的梯度。 这里结合代码理解一下： 正常训练的过程 for i, (images, labels) in enumerate(train_data): # 1. forwared 前向计算 ou
深度学习 -- gradient descent(梯度下降)
m0_52785249的博客
10-17 232
gradient descent(梯度下降) ： 每次找当前点的切线方向，不断接近最低点 ▽表示求梯度（求导） 我们期望学习率开始时大，一定迭代次数后变小，因此可用下图中红点上的公式，使得学习率和迭代次数挂钩 不光要考虑一次微分的值，二次微分的值也应当考虑，因此最佳的是用一次微分除以二次微分的值 ...
【深度强化学习】Policy Gradient算法
qq_40268672的博客
12-16 1819
Policy Gradient算法 Trajectory Trajectory表示一个回合的状态-动作序列，记为τ\tauτ,其发生的概率记为pθ(τ)p_{\theta}(\tau)pθ​(τ)，计算公式如上图所示。 Policy Gradient 我们希望通过最大化下图中的Expected Reward，来进行策略的学习。 其梯度计算如下: 因此我们可以设计下图所示的损失函数，其中θ\thetaθ为策略神经网络的参数，其输出为每个动作的概率值 改进一 考虑到R(τn)R(\tau^n)R(τn)
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
ChasingdreamLY的博客
03-24 669
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste
十九、【机器学习】【非监督学习】- 层次聚类 (Hierarchical Clustering)
最新发布
技术分享、程序员趣事、行业趋势等内容！
07-21 822
非监督学习是一种机器学习方法，它处理的是没有标签的数据集。与监督学习不同，非监督学习算法不需要知道数据的正确分类或目标值。它的目标是通过数据内部的结构和模式来推断出有意义的信息，如数据的分布、聚类、降维或异常检测等。层次聚类（Hierarchical Clustering）是一种无监督学习的聚类算法，用于发现数据集中的自然分组或聚类。不同于k-means等迭代型聚类算法，层次聚类构建了一个聚类的层次结构，这个结构通常表现为一棵树，称为聚类树或树状图（dendrogram）。
Gradient Descent
06-08
Gradient Descent是一种优化算法，用于最小化某个损失函数。它的基本思想是通过计算损失函数对于参数的梯度（即导数），来确定参数的更新方向，使得损失函数能够逐步减小。具体来说，对于每一次迭代，Gradient Descent会在当前参数的负梯度方向上进行一定步长的调整，使得损失函数能够缩小一定的程度。通过不断迭代，Gradient Descent可以逐步接近损失函数的最小值点，从而找到最优的参数组合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值