pytorch 刘二[4]

 第4讲 

反向传播

back propagation 源代码

9d22a09dcfd24cb58d3535c497d068d5.png

19cd98014df8455b8c309c62c755f9bc.png

af2d0d6bd541410c9ffaf3252674a4ea.png

1502b45b715846b3bee1178ea3b05193.png

反向传播代码

import torch
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
 
w = torch.tensor([1.0]) # w的初值为1.0
w.requires_grad = True # 需要计算梯度
 
 #  y =w*x
def forward(x):
    return x*w  # w是一个Tensor
 
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y)**2
 
print("predict (before training)", 4, forward(4).item())
 
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l =loss(x,y)    #前向过程 l是一个张量,tensor主要是在建立计算图 forward, compute the loss
        l.backward() #反向自动求梯度  每次backward计算完成之后 计算图会被释放  若需要下一次计算 需要构建新计算图 backward,compute grad for Tensor whose requires_grad set to True
        print('\tgrad:', x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data   # 权重更新时,注意grad也是一个tensor,所以需要取得其grad.data,也就算说这里是数值计算而非矩阵 向量 高维运算   用grad.data计算不会建立计算图
 
        w.grad.data.zero_() # after update, remember set the grad to zero
 
    print('progress:', epoch, l.item()) # 取出loss使用l.item,不要直接使用l(l是tensor会构建计算图)
 
print("predict (after training)", 4, forward(4).item())

作业

972b914e0ba045dc90ae7bb6eb105937.png

import torch
x_data = [1.0, 2.0, 3.0]
y_data = [6.0, 14, 26]
 
 #y=2x**2+2x+2
w_1 = torch.tensor([1.0]) # w_1的初值为1.0
w_2 = torch.tensor([1.0]) # w_2的初值为1.0
b = torch.tensor([1.0]) # b的初值为1.0
w_1.requires_grad = True # 需要计算梯度
w_2.requires_grad = True # 需要计算梯度
b.requires_grad = True # 需要计算梯度

 #  y =w*x*x+q*x+b
def forward(x):
    return w_1*x*x+w_2*x+b  # w是一个Tensor
 
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y)**2
 
print("predict (before training)", 4, forward(4).item())
 
for epoch in range(1000):
    for x, y in zip(x_data, y_data):
        l =loss(x,y)    #前向过程 l是一个张量,tensor主要是在建立计算图 forward, compute the loss
        l.backward() #反向自动求梯度  每次backward计算完成之后 计算图会被释放  若需要下一次计算 需要构建新计算图 backward,compute grad for Tensor whose requires_grad set to True
        #print('\tgrad:', x, y, w_1.grad.item(),w_2.grad.item(),b.grad.item())
        w_1.data = w_1.data - 0.02*w_1.grad.data   # 权重更新时,注意grad也是一个tensor,所以需要取得其grad.data,也就算说这里是数值计算而非矩阵 向量 高维运算   用grad.data计算不会建立计算图
        w_2.data = w_2.data - 0.02*w_2.grad.data   # 权重更新时,注意grad也是一个tensor,所以需要取得其grad.data,也就算说这里是数值计算而非矩阵 向量 高维运算   用grad.data计算不会建立计算图
        b.data = b.data - 0.09 * b.grad.data   # 权重更新时,注意grad也是一个tensor,所以需要取得其grad.data,也就算说这里是数值计算而非矩阵 向量 高维运算   用grad.data计算不会建立计算图

        w_1.grad.data.zero_() # after update, remember set the grad to zero
        w_2.grad.data.zero_() # after update, remember set the grad to zero
        b.grad.data.zero_() # after update, remember set the grad to zero
 
    print('progress:', epoch, w_1.data,w_2.data,b.data,l.item()) # 取出loss使用l.item,不要直接使用l(l是tensor会构建计算图)
 
print("predict (after training)", 4, forward(4).item())

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值