task01-PyTorch基础知识

最新推荐文章于 2024-07-07 17:05:20 发布

阿拉很ellllllllllll

最新推荐文章于 2024-07-07 17:05:20 发布

阅读量76

点赞数

文章标签： pytorch 深度学习 python

本文链接：https://blog.csdn.net/qq_42851172/article/details/124819572

版权

[DataWhale–深入浅出PyTorch]学习笔记系列文档

文档地址： https://datawhalechina.github.io/thorough-pytorch/index.html

第一章：PyTorch的简介和安装
第二章：PyTorch基础知识
第三章：PyTorch的主要组成模块
第四章：PyTorch基础实战
第五章：PyTorch模型定义
第六章：PyTorch进阶训练技巧
第七章：PyTorch可视化
第八章：PyTorch生态简介

包括但不限于conda、pip管理环境、装包以及切换mirror，PyCharm中使用conda管理环境，PyTorch的安装等等。

来自DataWhale

计算图包括tensor和function。function值得是计算图某个节点node所进行的运算，function内部有forward()和backward()两个方法，分别应用于正向、反向传播。
PyTorch如果构造一个tensor时requires_grad=True的话，那么使用它得到的后续的任何tensor都会有梯度并且会有grad_fn属性记录tensor在反向传播中所需要进行的操作是什么。这个构造出来的tensor叫做leaf_tensor，可以通过tensor.is_leaf()进行判断。

a = torch.tensor(2.0, requires_grad=True)
b = a.exp()
print(b)
# tensor(7.3891, grad_fn=<ExpBackward>)
b.backward()
print(a.grad)
# tensor(7.3891)

叶子张量grad_fn为空，但是backward()后，就是对叶子张量求梯度，默认情况下非叶子张量的梯度都不会保存。如果想要保存中间变量的梯度可以使用tensor.retain_grad()实现，如果只是想输出中间变量的梯度可以使用tensor.register_hook实现。
在一个叶子张量创建完成后，对其进行改变会记录在自身，并且会将其变为非叶子张量。在这时需要用对tensor.data或tensor.detach()进行操作。也可以在with torch.no_grad():中进行操作。

关注