土堆学习笔记——P24优化器

文章讲述了在使用PyTorch进行反向传播时,如何设置优化器SGD并调整学习率。作者提到在debug过程中遇到的问题,即找不到tudui文件夹导致无法观察梯度下降过程,承诺待学会VSCode调试后会补充这部分内容。
摘要由CSDN通过智能技术生成

其实就在前面反向传播那里,加了几行,
定义tudui之后,

optim = torch.optim.SGD(tudui.parameters(),lr=0.01)
#随机梯度下降,lr学习率,太大太跳脱,太小训练的慢,一般先大后小

在循环中最后

	result_loss = loss(outputs, targets)
    optim.zero_grad() #每轮梯度清0
    result_loss.backward()
    optim.step()

但是我发现我在debug时候没有tudui这个文件夹,看不到梯度下降,挖坑,等我学明白vscode的debug回来写

  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值