Pytorch梯度下降和和反向传播

目录

1. 向前计算

1.1 计算过程

1.2  requires_grad和grad_fn

2 梯度计算

---

1. 向前计算

对于pytorch中的一个tensor，如果设置它的属性，requires_grad为True,那么它将会追踪对于该张量的所有操作。

1.1 计算过程

假设有以下条件（1/4表示均值，xi中有四个数），使用torch完成其向前计算的过程

如果x为参数，需要对其进行梯度的计算和更新，所以在最开始随机设置x的值的过程中，需要设置他的requires_grad属性为True,其默认为False

下述代码 1. x的requires_grad属性True

                2. 之后的每次计算都会修改grad_fn属性，用来记录做过的操作

                        1.通过这个函数和grad_fn能够组成一个和前一小节类似的计算图

import torch
# 创建全为1的tensor，requires_grad=True的作用就是用来追踪其计算历史
x = torch.ones(2,2,requires_grad=True)