Pytorch入门深度学习（11）——导数、梯度下降、激活函数

最新推荐文章于 2024-06-29 23:08:01 发布
最新推荐文章于 2024-06-29 23:08:01 发布
阅读量295 收藏
点赞数
分类专栏： 深度学习 python 文章标签： 深度学习 人工智能 python pytorch 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wa1tzy/article/details/106544490
版权

一、概念

1）什么是切线
在这里插入图片描述
2）导数的几何意义
在这里插入图片描述
导数的写法：
在这里插入图片描述
3）什么是梯度
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值。
4）梯度下降法
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
wa1tzy
关注
专栏目录
订阅专栏
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 3870
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
PyTorch深度学习实战（9）——学习率优化
盼小辉丶的博客
08-06 2987
学习率( learning rate )是神经网络训练中一个重要的超参数，用于控制模型更新参数的步长大小，它决定了每次迭代中模型参数更新的幅度。学习率的选择对于训练的结果具有重要影响，学习率过高会导致模型震荡不收敛甚至发散，无法有效优化目标函数；而学习率过低则会导致收敛速度缓慢，需要更多的迭代才能达到较好的效果。本节首先介绍学习率如何影响模型训练，并通过修改学习率观察不同学习率对模型性能的影响。
深度学习入门：梯度下降算法
DADALalalala123的博客
04-01 1210
人工智能入门：梯度下降算法
梯度下降 -《动手学深度学习pytorch》
serenysdfg的博客
02-25 175
1梯度下降 一维梯度下降 **证明：沿梯度反方向移动自变量可以减小函数值** （梯度：导数） x -= lr* gradf(x) 根据公式：学习率（lr）太小达不到最低点，太大动荡变化 局部极小值挑战：学习率过大动荡会到另一个局部最小值 多维梯度下降 等高线(x1 - eta * 2 * x1, x2 - eta * 4 * x2） 2自适应方法 2.1牛顿法 需要...
pytorch与随机梯度下降
kiss_the_rian的博客
03-18 153
1、梯度的概念 偏导数 ：函数在某一点某方向的变化率 是一个标量，给定一个方向后，得到这个方向的变化率大小 梯度：某一点的梯度是这个点各个方向的偏导数组成的一个向量 梯度的意义 大小代表变化率，方向指向函数增长的方向。 更新参数的公式：每次减去梯度大小来求取目标函数的最小值： 凸函数、局部最小 类似一个碗的形状（二维视角）凸函数总可以找到一个全局最优解。 现实中遇到的函数却一般是这样的： 这是loss关于很多参数三维可视化后的结果。由于有很多局部最小解，较难找到全局最小解。 鞍点（saddle
梯度下降与pytorch
weixin_30760895的博客
09-20 110
记得在tensorflow的入门里，介绍梯度下降算法的有效性时使用的例子求一个二次曲线的最小值。 这里使用pytorch复现如下： 1、手动计算导数，按照梯度下降计算 import torch #使用梯度下降法求y=x^2+2x+1 最小值 从x=3开始 x=torch.Tensor([3]) for epoch in range(100): y=x**2+2*x...
PYTORCH学习（2）：梯度下降、随机梯度下降、mini batch、反向传播
qq_42233962的博客
10-24 1990
PYTORCH学习（2）：梯度下降法1、学习点 1、学习点 （1）非凸函数 （2）鞍点问题
深度学习—00入门 神经网络 pytorch 损失函数 梯度下降
chengqingshihuishui的博客
12-24 800
深度学习基础介绍
Pytorch深度学习入门--激活函数
weixin_45348251的博客
06-27 391
激活函数为网络带来非线性，使得网络可以拟合各种各样复杂的问题。
（十二）pytorch学习笔记---内容为学习资源摘录整合の梯度下降方法--反向传播算法
weixin_40245436的博客
03-02 216
反向传播算法 前面我们介绍了的模型，整个处理的基本流程都是定义模型，读入数据，给出损失函数ff，通过梯度下降法更新参数。PyTorch 提供了非常简单的自动求导帮助我们求解导数，对于比较简单的模型，我们也能手动求出参数的梯度，但是对于非常复杂的模型，比如一个 100 层的网络，我们如何能够有效地手动求出这个梯度呢？这里就需要引入反向传播算法，自动求导本质是就是一个反向传播算法。 反向传播算...
optimizer.step()代表什么意思
百年孤独百年的博客
04-23 8950
`optimizer.step()`是PyTorch中优化器对象的一个方法，用于更新模型的参数。在训练深度神经网络的过程中，我们需要通过反向传播算法计算每一个参数对损失函数的梯度，然后使用优化器更新参数，使得损失函数最小化。而`optimizer.step()`方法就是用于执行参数更新的。
训练五步走：前向传播、计算损失、清零梯度optimizer.zero_grad()、反向传播loss.backward()、更新参数optimizer.step()
最新发布
qq_43629945的博客
06-29 1326
outputs = model(inputs)前向传播，model为实例化后的模型； loss = criterion(outputs, targets)计算损失，criterion为定义的损失函数； Pytorch自动求导机制会将梯度值累加，故要optimizer.zero_grad()清零，去掉以前的梯度值； loss.backward()反向传播，通过自动微分计算损失函数相对于模型参数的梯度； optimizer.step()根据计算出的梯度更新模型的参数。
torch之optimizer.step() 与 scheduler.step() 的用法
weixin_49005845的博客
07-06 1万+
optimizer.step() 与 scheduler.step() 的用法
optimizer.step()模型参数不更新，输出梯度为0
qq_39328344的博客
10-03 9092
深度学习实验中遇到了这样一个问题，使用torch.optim.Adam()优化器训练网络更新参数，但是奇怪的是参数一直不更新，loss也一直不变，使用 [x.grad for x in solver.param_groups[0]['params']] 把梯度打印出来发现全部是none，我一口老血喷出天际。 经过了重新配置环境，修修补补网络模型等一系列除了浪费几天时间而对解决问题丝毫没有帮助的操作（当然也不是完全的无用功，利用找问题的这几天我也更好的理解了优化器的原理和优化过程） 就在今天上午，事
Pytorch optimizer.step() 和loss.backward()和scheduler.step()的关系与区别 （Pytorch 代码讲解）
热门推荐
xiaoxifei的专栏
02-20 6万+
因为有人问我optimizer的step为什么不能放在min-batch那个循环之外，还有optimizer.step和loss.backward的区别；那么我想把答案记录下来。 首先需要明确optimzier优化器的作用, 形象地来说，优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值的作用，这也是机器学习里面最一般的方法论。 从优化器的作用出发，要使得优...
深度学习的数学基础(三) 导数与梯度下降法
黄小华的专栏
06-10 656
(一) 导数的定义： 设函数在点的某个邻域内有定义，当自变量 x 在处取得增量, 相应的函数 y 取得增量，如果与之比在-> 0 时存在，则称函数 在在点处可导， 并称这个极限为函数在点处的导数。 (二) 导数的意义： 1. 几何意义： 导数是函数在某一点处的切线斜率，如下图 ...
pytorch梯度下降函数_pytorch梯度下降法讲解（非常详细）
weixin_39955829的博客
12-21 755
pytorch随机梯度下降法1、梯度、偏微分以及梯度的区别和联系(1)导数是指一元函数对于自变量求导得到的数值，它是一个标量，反映了函数的变化趋势；(2)偏微分是多元函数对各个自变量求导得到的，它反映的是多元函数在各个自变量方向上的变化趋势，也是标量；(3)梯度是一个矢量，是有大小和方向的，其方向是指多元函数增大的方向，而大小是指增长的趋势快慢。 2、在寻找函数的最小值的时候可以利用梯度下降法来...
pytorch学习笔记(1)-optimizer.step()和scheduler.step()
Gussss的博客
10-18 2904
转https://blog.csdn.net/qq_20622615/article/details/83150963 optimizer.step()和scheduler.step()的区别 optimizer.step()通常用在每个mini-batch之中，而scheduler.step()通常用在epoch里面,但是不绝对，可以根据具体的需求来做。只有用了optimizer.step()，模型才会更新，而scheduler.step()是对lr进行调整。通常我们有 optimizer = o
深度学习：优化器
qq_42911863的博客
08-08 654
深度学习，优化器选择
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wa1tzy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值