Pytorch线性回归的详细实现

线性回归-单层神经网络

线性回归是⼀个单层神经⽹络
在这里插入图片描述
 输⼊分别为x1和x2,因此输⼊层的输⼊个数为2,输⼊个数也叫特征数或
特征向量维度,输出层的输出个数为1,输出层中的神经元和输⼊层中各个输⼊完全连
接,因此,这⾥的输出层⼜叫全连接层,即一个简单地线性回归。
 假设我们有三个预测数据:
在这里插入图片描述
转化为矩阵运算:
在这里插入图片描述

在这里插入图片描述

代码实现:

首先导入所需要的包:

import torch
import random
import numpy as np
from tqdm import tqdm

生成数据集:

num_input = 2
num_example = 1000   # 1000条样本
# 定义标准的参数
true_w = [2, -3.4]   
true_b = 4.2
np.random.seed(2012)
features = torch.tensor(np.random.normal(0,1,(1000,2)))
# 构造标签
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] +true_b
labels += torch.from_numpy(np.random.normal(0, 0.01,size=labels.size()))
print(features,labels)

数据的读取:

def data_item(bach_size,features,labels):
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices) # 样本的读取顺序是随机的
    for i in range(0, num_examples, bach_size):
        j = torch.LongTensor(indices[i: min(i + bach_size,num_examples)]) # 最后⼀次可能不⾜⼀个batch
        yield features.index_select(0, j), labels.index_select(0, j)

随机初始化模型参数:

w = torch.tensor(np.random.normal(0, 0.01, (num_input, 1)),dtype=torch.double) 
b = torch.zeros(1, dtype=torch.double)
w.requires_grad = True     # 定义为可求梯度
b.requires_grad = True

定义线性回归函数,使⽤ mm 函数(矩阵相乘):

def linear(x,w,b):
    return torch.mm(x,w)+b

定义损失函数:

def loss(y_hat, y): # 本函数已保存在d2lzh_pytorch包中⽅便以后使⽤
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

定义优化函数:

def SGD(params, lr, batch_size): # 本函数已保存在d2lzh_pytorch包中⽅便以后使⽤
    for param in params:
        param.data -= lr * param.grad / batch_size # 修改的的param.data

训练模型:

lr = 0.03
bach_size = 30
net = linear
loss = loss
num_epochs = 5


for epoch in range(num_epochs):
    for x,y in data_item(bach_size=bach_size,features=features,labels=labels):
        los = loss(linear(x,w,b),y).sum()
        los.backward()
        
        SGD([w,b],lr=lr,batch_size=bach_size)
#         print(b)
        w.grad.zero_()
        b.grad.zero_()
    train_l = loss(net(features, w, b), labels)
    print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))
print(true_w, '\n', w)
print(true_b, '\n', b)

喜欢文章可以点赞收藏,欢迎关注,如有错误请指正!

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值