计算图-variable

  1. tensor和variable的区别

在这里插入图片描述

Variable与Tensor没有本质不同,唯一不同点在于Variable可以自动求导。Variable是对Tensor的一个封装,操作和Tensor是一样的,但是每个Variable都有三个属性,Varibale的Tensor本身的.data,对应Tensor的梯度.grad,以及这个Variable是通过什么方式得到的.grad_fn。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  1. 计算图
    

在这里插入图片描述

  1. 动态图机制
    

3.1. 一次forward过程将有多个Function连接各个Variable,Function输出的Variable将保存该Function的引用(即.creator),从而组成计算图。

3.2. 在backward时,将利用生成的计算图,根据求导的链式法则得到每个Variable的梯度值。

在这里插入图片描述

  1. 对于不同维度数张量反向求导不同点

.backward()默认为.backward(torch.FloatTensor([1]))。但是对于高维张量进行反向求导时,需要传入参数额外注明数据维度尺寸。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值