Pytorch学习笔记2：梯度下降算法

最新推荐文章于 2023-01-06 17:18:59 发布

岳戴

最新推荐文章于 2023-01-06 17:18:59 发布

阅读量316

点赞数

本文链接：https://blog.csdn.net/Jackydyy/article/details/117233000

版权

本文介绍了梯度下降算法的产生背景、原理和局限性，并对比了随机梯度下降与批量梯度下降的优缺点。通过数学公式和代码示例，详细解析了梯度下降在模型训练中的应用。

摘要由CSDN通过智能技术生成

梯度下降算法(Gradient Descent)：模型训练中最常用的一种算法

一.算法产生背景

1.穷举法：提前设定好参数的准确值在某个区间并以某个步长进行穷举

穷举法的思想在参数比较多，即维度比较大的情况下会产生唯独诅咒，在一个N维曲面中找一个最低点，使得原问题不可解，基于这样的情况需要进行改进

2.分治法：大化小，小化无，先对整体进行分割采样，在相对最低点进行进一步采样，直到其步长与误差符合条件

两个缺点：a.容易只找到局部最优解，而不易找到全局最优解

b.如果需要分的更加细致，则计算量仍巨大

由于存在以上问题，提出了参数优化，即求解使loss最小时的参数的值

二.梯度下降算法

梯度：梯度即导数变化最大的值，其方向为导数变化最大的方向

如果令 $\Delta x$ ＞0，则对于增函数，梯度的方向为函数上升的方向，对于减函

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

岳戴

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

pytorch学习笔记十：torch.optim下的优化算法的使用方法详解

耐心的小黑的博客

04-09

3045

这里，我们不对每一个具体的优化算法做解释，只是对torch.optim下的算法的使用方法以及有哪些属性做一下说明。一、torch.optim torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。二、如何使用optimizer 为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持...

Pytorch学习笔记4：线性回归

Jackydyy的博客

06-01

358

对我说

参与评论您还未登录，请先登录后发表或查看评论

【PyTorch深度学习实践】第3讲 梯度下降

weixin_44476337的博客

07-08

183

import matplotlib.pyplot as plt # train set x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6.0] w = 1.0 # model 预测值 def forward(x): return x*w def cost(xs, ys): cost = 0 for x, y in zip(xs, ys): y_pred = forward(x) cost +=

pytorch梯度下降函数_pytorch梯度下降法讲解（非常详细）

weixin_39955829的博客

12-21

757

pytorch随机梯度下降法1、梯度、偏微分以及梯度的区别和联系(1)导数是指一元函数对于自变量求导得到的数值，它是一个标量，反映了函数的变化趋势；(2)偏微分是多元函数对各个自变量求导得到的，它反映的是多元函数在各个自变量方向上的变化趋势，也是标量；(3)梯度是一个矢量，是有大小和方向的，其方向是指多元函数增大的方向，而大小是指增长的趋势快慢。 2、在寻找函数的最小值的时候可以利用梯度下降法来...

PyTorch 深度学习实践第3讲

热门推荐

bit452的专栏

11-12

2万+

第3讲 梯度下降法源代码 B站刘二大人，传送门PyTorch 深度学习实践 梯度下降法 import matplotlib.pyplot as plt x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6.0] # initial guess of weight w = 1.0 # define the model linear model y = w*x def forward(x): return x*w #define the ...

pytorch梯度下降法讲解（非常详细）

weixin_30646315的博客

09-27

1701

【PyTorch深度学习实践】02_梯度下降

青山的青衫的博客

01-01

802

之前可以使用穷举的方法逐个测试找使损失函数最小的点（即找最优权重），但权重过多时，会使穷举变得非常困难，因此需要优化，梯度下降法就是其中一种优化方式。要找到最小值的点，可以让点沿着下降最快的方向移动，梯度的负方向（即负的cost对w的导数）就是下降最快的方向，w随之更新。梯度下降并行度更好，时间复杂度低，但是性能较差。（实话讲这里没听懂老师说的原因，只知道结论了，先记录下来）图中公式的α值代表学习率，通常是一个很小的数（不然一步走太远了），代表步长。，给数据分组，组内使用梯度下降，组间使用随机梯度下降。

Pytorch学习笔记3：反向传播算法

Jackydyy的博客

05-31

266

pytorch学习笔记十二：优化器

Dear_learner的博客

03-22

4837

前言机器学习中的五个步骤：数据 ——> 模型 ——> 损失函数 ——> 优化器 ——> 迭代训练，通过前向传播，得到模型的输出和真实标签之间的差异，也就是损失函数，有了损失函数之后，模型反向传播得到参数的梯度，接下来就是优化器根据这个梯度去更新参数，使得模型的损失不断降低，那么优化器是如何做到的呢？分别从三个方面了解一下，优化器的概念，优化器的属性和方法，常用的优化器。一、什么是优化器 pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。在更新参

【Pytorch实战(二)】梯度及优化算法

cc__cc__的博客

05-15

475

一、计算梯度的简单示例 import torch x = torch.tensor([1., 2.], requires_grad=True) y = x[0] ** 2 + x[1] ** 2 print('y = {}'.format(y)) y.backward() print('grad = {}'.format(x.grad)) # 输出结果 # y = 5.0 # grad = tensor([2., 4.]) 注意问题：构造张量x时应将参数requires_grad设置为True，这

《PyTorch深度学习实践2》——梯度下降算法（Gradient Descent）

最新发布

☆下山☆的博客

01-06

615

B站刘二大人《PyTorch深度学习实践》——梯度下降算法（Gradient Descent）

＜Pytorch深度学习实践＞(二)：梯度下降算法（Gradient Descent）

qq_39443703的博客

11-19

746

梯度下降算法穷举法和观察法不可行，因为w的数量如果过大，将会大大增加时间开销且可能找到局部最优解 梯度下降：（能够找到局部最优解，但也许找不到全局最优解（没有任何一个局部最优比他好））那么为什么深度学习中大多数还是使用梯度下降来寻找最优解，因为在很多学习中得到结果，深度学习最优化问题中并不存在很多局部最优解。但存在一个点（鞍点，偏导为0） y=wx+by=wx+by=wx+b MSE: cost(w)=1N∑n=1N(y^n−yn)2cost(w)=\frac{1}{N}\sum_

Pytorch(二) --梯度下降法

starlet_kiss的博客

01-17

2099

针对y=wx+b，利用梯度下降法求得相对应的w和b，此时，w和b是一个近似解，而不是确切解。上图是针对y=wx的梯度下降法的步骤，y=w*x+b的步骤与之类似，只不过分为两步，w和b。代码如下所示： import numpy as np import matplotlib.pyplot as plt #y = 2*x+3 x_data = [1.0,2.0,3.0] y_data = [5.0,7.0,9.0] #随机初始化w和b w=1.0 b=1.0 lr = 0.01 def forward

《PyTorch 深度学习实践》第3讲 梯度下降算法

qq_37172616的博客

07-21

294

梯度下降算法缺点梯度下降算法容易进入局部最优解（非凸函数），但是实际问题中的局部最优点较少，或已经基本可以当成全局最优点梯度下降算法容易陷入鞍点，（即总体所有点的梯度和为0，导致w=w-0.01*0,w不会改变）普通的梯度下降算法利用数据整体，不容易避免鞍点，算法性能上欠佳，但算法效率高随机梯度下降算法优缺点采用随机梯度下降，即随机的取一组（x,y)的梯度，作为梯度下降的依据，而不用总体所有点的梯度和，作为梯度下降的依据。实质是使用“噪点”去推动梯度下降。有可能跨越鞍点（神经网络常用）......

pytorch梯度下降函数_PyTorch学习笔记2 - 梯度下降

weixin_39636057的博客

01-15

426

1 在numpy和pytorch实现梯度下降法(线性回归)梯度下降法的一般步骤为：(1) 设定初始值(2) 求取梯度(3) 在梯度方向上进行参数的更新1.1 Numpy版本假设欲拟合的目标函数为y = 2*x1 - 4*x2. 这是一个2元线性函数，自变量x是2维向量。通过梯度下降求解最优参数的代码如下：import numpy as npimport matplotlib.pyplot as p...

【Pytorch】梯度下降算法

宫瑞阳的博客

02-22

2125

梯度下降算法

Pytorch之梯度下降和方向传播理论介绍

Jennifer_Love_Frank的博客

08-17

697

梯度梯度：是一个向量，学习(参数更新)的方向，导数+变化最快的方向。梯度的本意是一个向量(矢量)，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向(此梯度的方向)变化最快，变化率最大(为该梯度的模)。 梯度下降 步骤(常用三种方法见后面小节) 算出梯度，梯度的计算公式：gradu=aₓ(∂u/∂x)+aᵧ(∂u/∂y)+az(∂u/∂z) 更新下一个取值点：wn=wn-1-α*gradun-1 梯度下降的一般求法：批量梯度下降法BGD 批量梯度下降法(Batch Gr

Pytorch ---- 梯度下降 学习笔记~~~~~

深度不学习！！的博客

10-22

738

假设所取点为图中红心点。要找到下降的一侧。则求红心点出的导数。按导数定义走。导数大于0，则X往靠近原点的方向走，导数小于0，则X往靠近无穷大的方向走。所以找到负导数的方向。即为下降的方向。所以在梯度下降算法中，更新权重的方法: a为学习率（即为往前走多少） ...

【Python学习笔记】13：用梯度下降法求解最优值问题

LauZyHou的笔记

05-21

6511

用梯度下降法求解最优值问题梯度是函数在某点沿每个坐标的偏导数构成的向量，它反映了函数沿着哪个方向增加得最快。因此要求解一个二元函数的极小值，只要沿着梯度的反方向走，直到函数值的变化满足精度即可。这里打表存储了途径的每个点，最后在图上绘制出来以反映路径。 import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import ...

PyTorch深度学习入门：动态建图与Tensor与Variable详解

- 提供的链接是关于PyTorch学习笔记的第一篇博客，发布于2017年，阅读量较高，适合初学者和进阶者参考。这份文档详细介绍了PyTorch的基础知识和用法，是深入学习的好起点。通过理解和掌握这些知识点，你将能够更...