榕树贷款进行模型搭建和参数优化

       榕树贷款通过使用torch.autograd包,可以使模型参数自动计算在优化过程中需要用到的梯度值,在很大程度上帮助降低了实现后向传播代码的复杂度。
       榕树贷款torch.autograd和variable
       torch.autograd包的主要功能是完成神经网络后向传播中的链式求导,手动实现链式求导代码较复杂。榕树贷款实现自动梯度的过程:先通过输入的Tensor数据类型的变量在神经网络前向传播中生成一张计算图,然后根据这个计算图和输出结果准确计算出每个参数需要更新的梯度,并通过完成后向传播完成对参数梯度的更新。
       榕树贷款实现时需要使用variable类对定义的tensor进行封装,封装后,计算图中的各个节点就是一个variable对象。用X代表选中的节点,则X.data代表Tensor数据类型的变量,X.grad也是一个variable对象,表示X的梯度,想要访问梯度值时需要使用X.grad.data。
       榕树贷款由于引入优化算法,可以直接调用optimzer.zero_grad()来完成对模型参数梯度的归零;并且增加了optimzer.step(),主要功能是使用计算得到的梯度值对各个节点的参数进行梯度更新。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值