PyTorch深度学习实践之用PyTorch实现线性回归

 课程地址:05.用PyTorch实现线性回归_哔哩哔哩_bilibili

目录

理论

​编辑 1.准备数据(使用mini-batch目的是为了一次性求出y_hat)

 2.定义模型

 3.构造损失函数和优化器

4.训练过程 

课程代码总结 

代码:

解决方法:

1.根据老师的方法多迭代几次

2.适当调整学习率lr

作业

疑惑


理论

 1.准备数据(使用mini-batch目的是为了一次性求出y_hat)

 2.定义模型

构造函数的模板→扩展模型完成PyTorch中各式各样的任务 

 3.构造损失函数和优化器

4.训练过程 

课程代码总结 

代码:

import torch

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])

# 定义线性模型
class LinearModel(torch.nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()   # 在python3的版本可以直接写成super().__init__()
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        y_pred = self.linear(x)  # 对象后面加括号实现一个可调用的对象
        return y_pred

model = LinearModel()
    #  MSELoss继承自Module
criterion = torch.nn.MSELoss(size_average=False)
# parameters会检查module中所有成员 如果成员中有相应的权重将加到最后训练的权重之中
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for epoch in range(100):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    #  loss是标量 打印时自动使用__str__()函数
    print(epoch, loss.item())
    # 将所有梯度都归零
    optimizer.zero_grad()
    loss.backward()
    # step函数进行一次更新
    optimizer.step()

    print('w = ', model.linear.weight.item())  # 此处item()将矩阵转成数值
    print('b = ', model.linear.bias.item())

    x_test = torch.Tensor([[4.0]])
    y_test = model(x_test)
    print('y_pred = ', y_test.data)

 按照课上的代码运行出来的代码结果与我们预期的8有些许差距,原因是模型还没有完全拟合

解决方法:

1.根据老师的方法多迭代几次

2.适当调整学习率lr

 

 

上图的lr依次为0.02、0.03、0.04、0.06(0.04和0.05运行结果相差不大就没放入其中)

可以发现适当调整学习率也可以达到预测值,当学习率过大时就会出现过拟合的情况 

作业

 

 尝试用不同的优化器进行优化  结果在100次循环内效果最好的应该是Rprop

疑惑

部分优化器在运行多次后预测值偏差较大,不是很明白这是为什么

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值