课堂代码:
#反向传播课上代码
import torch
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.tensor([1.0]) # w的初值为1.0
w.requires_grad = True # 默认为False,True表示需要计算梯度
def forward(x):
return x * w
#其中 w 是tensor,乘法运算符被重载,tensor 与 tensor 的乘法,所以 x 会自动进行类型转换,转换为 tensor
def loss(x, y):
y_pred = forward(x)
return (y_pred - y) ** 2
#代码在构建计算图
print("predict (before training)", 4, forward(4).item())
for epoch in range(100):
for x, y in zip(x_data, y_data):
l = loss(x, y) # l是一个张量,tensor主要是在建立计算图
l.backward() #把计算图上所有需要梯度的地方,把梯度计算出来,把梯度存放给 w
print('\tgrad:', x, y, w.grad.item()) #.item() 用来把梯度里的数值直接拿出来,变成python中的一个标量,也为了防止产生计算图
w.data = w.data - 0.01 * w.grad.data # 权重更新时,需要用到标量,注意grad也是一个tensor,其中w.grad.data中用data避免产生计算图
w.grad.data.zero_() # w.grad.data 清0
# 不可以 sum = 0
# ......
#sum += l l是张量,tensor 在加法运算中会构建计算图,这样会建立许多计算图,吃内存,
#用 sum += l.item() 把损失值取出来
print('progress:', epoch, l.item()) # 取出loss使用l.item(),直接使用l会构建计算图
print("predict (after training)", 4, forward(4).item())
运行结果:
课后作业:
import torch
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
w1 = torch.tensor([1.0])
w2 = torch.tensor([2.0])
b = torch.tensor([1.0])
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True
def forward(x):
return x * x * w1 + x * w2 +b
def loss(x,y):
y_pred = forward(x)
return (y_pred - y) ** 2
print('predict (before training)',4,forward(4).item())
for epoch in range(100):
for x,y in zip(x_data,y_data):
l = loss(x,y)
l.backward()
print('\tgrad',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
w1.data = w1.data - 0.01 * w1.grad.data
w2.data = w2.data - 0.01 * w2.grad.data
b.data = b.data - 0.01 * b.grad.data
w1.grad.data.zero_() # 清0
w2.grad.data.zero_()
b.grad.data.zero_()
print('progress:',epoch,l.item()) # 每个epoch的Loss
print("predict (after training)", 4, forward(4).item())
运行结果: