动手学深度学习_线性回归

CV小Rookie

已于 2022-07-30 11:10:30 修改

阅读量281

点赞数

分类专栏：边学边记文章标签：深度学习线性回归机器学习

于 2022-07-29 21:42:16 首次发布

本文链接：https://blog.csdn.net/like_jmo/article/details/126064041

版权

边学边记专栏收录该内容

28 篇文章 6 订阅

订阅专栏

线性回归

平方损失函数

pytorch实现

线性回归

线性回归（Linear Regression）可以追溯到19世纪初，它在回归的各种标准工具中最简单而且最流行。线性回归基于几个简单的假设：首先，假设自变量x和因变量y之间的关系是线性的，即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声；其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。

线性模型可以表示为： $\hat{y}=w_{1}x_{1}+\cdots +w_{d}x_{d}+b$

向量版本： $\hat{y} = w\top x+b$

线性模型可以看做单层全连接神经网络

输入为x1,…,xd，因此输入层中的输入数（或称为特征维度，feature dimensionality）为d。网络的输出为o1，因此输出层中的输出数是1。

平方损失函数

现在模型已经有了，下一步要进行预测就必须有损失函数，我们使用平方损失：

$\l ^{I}(w,b) = \frac{1}{2}(\hat(y)^{(i)}-y^{(i)})^{2}$

这里有个系数 1/2 是因为进行求导时，平方 2 可以和 1/2 抵消，方便计算。

为了去衡量在整个模型的质量，所有的 $\l$ 要进行求和，要求平均，如果不求平均，那么梯度就会比较大，反向传播更新时，梯度过大是不希望看到的（如果不求平均，那么学习率就要求平均）

训练参数时，我们希望找到一组参数 $(W^{*},b^{*})$ 使得在所有样本上有最低的损失。

pytorch实现

# 作者 ：CV小Rookie
# 创建时间： 2022/7/29 20:41
# 文件名： linear_regression_easy.py
import numpy as np
from torch.utils import data
import torch
from torch import nn
from d2l import torch as d2l

# 利用 d2l 中的 synthetic_data 生成数据
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)

# 读取数据集
def load_array(data_arrays, batch_siz, is_train=True):
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_siz, shuffle=is_train)

batch_size = 10
data_iter = load_array((features, labels), batch_size)

# 定义模型
net = nn.Sequential(nn.Linear(2, 1))
# 初始化模型参数
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

#定义损失函数
loss = nn.MSELoss()

# 定义优化算法
trainer = torch.optim.SGD(net.parameters(), lr=0.03)

# 训练
num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features), labels)
    print(f'epoch {epoch + 1}, loss {l:f}')

w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)