Pytorch学习记录——自动微分autograd

最新推荐文章于 2024-08-12 04:00:00 发布

左小田^O^

最新推荐文章于 2024-08-12 04:00:00 发布

阅读量144

点赞数

分类专栏： pytorch 深度学习

本文链接：https://blog.csdn.net/qq_45802081/article/details/115439045

版权

深度学习同时被 2 个专栏收录

34 篇文章 1 订阅

订阅专栏

pytorch

26 篇文章 1 订阅

订阅专栏

学习链接：https://blog.csdn.net/weixin_34062329/article/details/94677293
Tensor是PyTorch实现多维数组计算和自动微分的关键数据结构。一方面，它类似于numpy的ndarray，用户可以对Tensor进行各种数学运算；另一方面，当设置.requires_grad = True之后，在其上进行的各种操作就会被记录下来，用于后续的梯度计算，其内部实现机制被成为动态计算图(dynamic computation graph)。

autograd 软件包为 Tensors 上的所有操作提供自动微分。
从 tensor 和 gradients 来举一些例子。
1.TENSOR
当我们创建一个张量torch.Tensor,如果将其属性 .requires_grad=True 设置为 True，则会开始跟踪针对 tensor 的所有操作。
完成计算后， .backward() 来自动计算所有梯度。
停止对tensor历史追踪：.detach()可将历史计算记录分离。或者使用with torch.no_grad()将代码块包装起来。
Function
Tensor 和 Function 互相连接并构建一个非循环图，它保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用，其实就是查看tensor的历史操作，（如果用户自己创建张量，则grad_fn 是 None ）。
计算导数，调用 Tensor.backward()
jupyter notebook代码：
http://localhost:8888/notebooks/10.%E8%87%AA%E5%8A%A8%E5%BE%AE%E5%88%86.ipynb