线性回归

最新推荐文章于 2022-08-12 20:52:47 发布

Dxy17

最新推荐文章于 2022-08-12 20:52:47 发布

阅读量564

点赞数

分类专栏： Python 文章标签： pytorch 深度学习

本文链接：https://blog.csdn.net/m0_37548423/article/details/104292243

版权

Python 专栏收录该内容

33 篇文章 1 订阅

订阅专栏

简介

线性回归的输出是一个连续值，使用于回归问题（如房价预测、气温预测等）。线性回归可以理解为单层的神经网络。

线性回归的基本要素

本小节以一个简单的房屋价格预测作为例子来解释线性回归的基本要素。此应用的目标是预测一栋房子的售出价格（元）。我们知道房屋的价格取决于多种因素，如地段，房屋状况，市场行情等。这里为了简单起见，假设价格只与房屋的面积和房龄（年）两个因素有关。接下来探索房屋价格与房屋面积和房龄这两个因素的关系。

模型定义

令房屋面积 $x_{1}$ ，房龄 $x_{2}$ ，房屋售出价格 $y$ 。模型就是建立基于输入 $x_{1}$ 和 $x_{2}$ 来计算输出 $y$ 的表达式。而对线性回归模型而言其假设模型中的输出与输入之间是线性关系，即：

$\hat{y}=x_{1}w_{1}+x_{2}w_{2}+b$

其中 $w_{1}$ 和 $w_{2}$ 是权重，b是偏差，且均是标量，他们是线性回归模型的参数。模型输出 $\hat{y}$ 是线性回归对真实价格 $y$ 的预测或估计。

模型训练

模型训练是指通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小，模型训练涉及3个要素。

（1）训练数据

我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上寻找模型参数来使模型的预测价格和真实价格的误差最小。在机器学习术语里，该数据集被称为训练集，一栋房屋被称为一个样本，其真实售出价格叫做标签，用来预测标签的两个因素叫做特征。

假设我们采集的样本数为n，索引为i的样本的特征为 $x_{1}^{(i)}$ 和 $x_{2}^{(i)}$ ，标签为 $y^{(i)}$ 。对于索引为i的房屋，线性回归模型的房屋价格预测表达式为：

（2）损失函数

在训练模型中，我们需要衡量价格预测值和真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择使平方函数，在索引为i的样本误差的表达式为

其中常熟1/2使对平方项求导后的常数系数为1，这样在形式上稍微简单一些。显然误差越小表示预测价格与真实价格越接近，且当二者相等时误差为0。给定数据集，这个误差只与模型参数相关，因此我们将它记为以模型参数为参数的函数。在机器学习中，将衡量误差的函数称为损失函数，这里使用的平方误差函数也称为平方损失。

通常用训练集中所有样本误差的平均来衡量模型预测的质量，即：

模型训练的目的时找出一组模型参数，即 $w_{1}^{*}$ ， $w_{2}^{*}$ ， $b^{*}$ ，来使训练样本平均损失最小。

（3）优化算法

当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解。

在求数值解的优化算法中，小批量随机梯度下降在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。

在训练本节讨论的线性回归模型的过程中，模型的每个参数将作如下迭代：

在上式中，代表每个小批量中的样本个数（批量大小，batch size），称作学习率（learning rate）并取正数。需要强调的是，这里的批量大小和学习率的值是人为设定的，并不是通过模型训练学出的，因此叫作超参数（hyperparameter）。我们通常所说的“调参”指的正是调节超参数，例如通过反复试错来找到超参数合适的值。在少数情况下，超参数也可以通过模型训练学出。本书对此类情况不做讨论。

模型预测

模型训练完成后，我们将模型参数在优化算法停止时的值分别记作注意，这里我们得到的并不一定是最小化损失函数的最优解而是对最优解的一个近似。然后，我们就可以使用学出的线性回归模型来估算训练数据集以外任意一栋面积（平方米）为 $x_{1}$ 、房龄（年）为 $x_{2}$ 的房屋的价格了。这里的估算也叫作模型预测、模型推断或模型测试。

线性回归的表示方法

在深度学习中，我们可以使用神经网络图直观地表现模型结构。图1表示使用神经网络图表示本节中介绍的线性回归模型，图中隐去了模型参数权重和偏差。

（1）神经网络图

图1 线性回归看作一个单层的神经网络

在图1的神经网络中，输入分别为 $x_{1}$ 和 $x_{2}$ ，因此输入层的输入个数为2.输入个数也叫特征数或者特征向量维度。图中网络的输出为o，输出层的输出个数为1。需要注意的是，此处可以直接将神经网络的输出o作为线性回归的输出，即 $\hat{y}$ =o。由于输入层不涉及计算，图1所示的神经网络层数为1，因此线性回归是一个单层神经网络。输出层中负责计算o的单元又叫神经元。在线性回归中，o的计算依赖于 $x_{1}$ 和 $x_{2}$ 。也就是说输出层中的神经元和输入层中的各个神经元完全连接。因此这里的输出层又叫全连接层或者稠密层。

（2）矢量计算表达式

在模型训练或者预测时我们常常会同时处理多个数据样本并用到矢量计算。在本节的房屋价格预测问题中，如果我们在训练数据集中对3个房屋样本（索引为1，2，3）逐一进行价格预测，得到：

将其转化为矢量计算。设

对3个房屋样本价格预测的矢量表达式为广义上讲，当数据样本为n，特征为d时，线性回归的矢量计算表达式为：

其中模型输出，批量数据样本特征，权重，偏差。相应地，批量数据样本标签。设模型参数，我们可以重写损失函数为：

小批量随机梯度下降的迭代步骤将相应的改写为

其中梯度时损失有关3个标量的模型参数的偏导数组成的向量：

线性回归的实现

（1）从零开始实现

在本小节的实现部分，用自己生成的1000行2列的数据集以及label作为训练数据，每次以10个样本作为批次进行数据选择，其完整的代码如下所示。

"""
对应动手学深度学习中的代码--线性回归的从零开始实现
"""
import torch
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random
print(torch.__version__)
"""
生成数据集
"""
# set input feature number 
num_inputs = 2
# set example number
num_examples = 1000

# set true weight and bias in order to generate corresponded label
true_w = [2, -3.4]
true_b = 4.2

features = torch.randn(num_examples, num_inputs,
                      dtype=torch.float32)
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()),
                       dtype=torch.float32)


"""
使用图像来展示生成的数据
"""
plt.scatter(features[:, 1].numpy(), labels.numpy(), 1)

"""
读取数据集
"""
def data_iter(batch_size, features, labels):
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)  # random read 10 samples
    for i in range(0, num_examples, batch_size):
        j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # the last time may be not enough for a whole batch
        yield  features.index_select(0, j), labels.index_select(0, j)
        
batch_size = 10

for X, y in data_iter(batch_size, features, labels):
    print(X, '\n', y)
    break

w = torch.tensor(np.random.normal(0, 0.01, (num_inputs, 1)), dtype=torch.float32)
b = torch.zeros(1, dtype=torch.float32)

w.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)

"""
定义模型
"""
def linreg(X, w, b):
    return torch.mm(X, w) + b

"""
定义损失函数
"""
def squared_loss(y_hat, y): 
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

"""
定义优化函数
"""
def sgd(params, lr, batch_size): 
    for param in params:
        param.data -= lr * param.grad / batch_size # ues .data to operate param without gradient track
        
"""
训练
"""
# super parameters init
lr = 0.03
num_epochs = 5

net = linreg
loss = squared_loss

# training
for epoch in range(num_epochs):  # training repeats num_epochs times
    # in each epoch, all the samples in dataset will be used once
    
    # X is the feature and y is the label of a batch sample
    for X, y in data_iter(batch_size, features, labels):
        l = loss(net(X, w, b), y).sum()  
        # calculate the gradient of batch sample loss 
        l.backward()  
        # using small batch random gradient descent to iter model parameters
        sgd([w, b], lr, batch_size)  
        # reset parameter gradient
        w.grad.data.zero_()
        b.grad.data.zero_()
    train_l = loss(net(features, w, b), labels)
    print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))
    
print(true_w, w)
print(true_b, b)

（2）线性回归的简洁实现

随着深度学习开发框架的发展，开发深度学习应用变得越来越便利，本小节介绍如何使用pytorch更方便的实现线性回归的训练。

首先生成与上一小节相同的数据集，其中features是特征，labels是标签。

import torch
import numpy as np
import torch.utils.data as Data
import torch.nn as nn
from torch.nn import init
import torch.optim as optim

num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.tensor(np.random.normal(0,1,(num_examples, num_inputs)),dtype = torch.float)
labels = true_w[0]*features[:,0]+true_w[1]*features[:,1]+true_b

labels += torch.tensor(np.random.normal(0,0.01,size = labels.size()),dtype = torch.float)

"""
读取数据
pytorch提供了data包来读取数据，由于data常用作变量名，这里用Data代替。在每一次迭代中，我们将
随机读取包含10个数据样本的小批量
"""

batch_size = 10
dataset = Data.TensorDataset(features, labels)
data_iter = Data.DataLoader(dataset, batch_size, shuffle = True)

"""
定义模型
在上一节从零开始的实现中，我们需要定义模型参数，并使用它们一步步描述模型是怎样计算的。当模型结构变复杂时，
这些步骤将变得更加繁琐。pytorch提供了大量预定义的层，这使得我们只需要关注使用哪些层来构造模型。
下面介绍如何使用pytorch更简洁地定义线性回归。
首先导入torch.nn模块。nn的核心数据结构是Module，它是一个抽象概念，既可以表示神经网络中的某个层，也可以表示
一个包含很多层的神经网络。在实际的使用中常见的做法是继承nn.Module，撰写自己的网络。
"""

class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(n_feature, 1)
        #forward定义前向传播
        def forward(self, x):
            y = self.linear(x)
            return y
net = LinearNet(num_inputs)
print(net)

# ways to init a multilayer network
# method one
net = nn.Sequential(
    nn.Linear(num_inputs, 1)
    # other layers can be added here
    )

# method two
net = nn.Sequential()
net.add_module('linear', nn.Linear(num_inputs, 1))
# net.add_module ......

# method three
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
          ('linear', nn.Linear(num_inputs, 1))
          # ......
        ]))

print(net)
print(net[0])

"""
初始化模型参数
在使用net之前，我们需要初始化模型参数，如线性回归中的权重和偏差。pytorch在init模块中提供了多种参数初始化方法。
此处通过init.normal_将权重参数每个元素初始化为随机采样于均值为0，标准差为0.01的正态分布，偏差初始化为0.
"""

init.normal_(net[0].weight, mean = 0, std = 0.01)
init.constant_(net[0].bias, val = 0)

"""
定义损失函数

"""
loss = nn.MSELoss()

"""
定义优化算法
torch.optim模块提供了很多常用的优化算法如SGD，Adam，RMSProp等。
"""

optimizer = optim.SGD(net.parameters(), lr = 0.03)
print(optimizer)

"""
训练模型
"""

num_epochs = 3
for epoch in range(1, num_epochs+1):
    for X, y in data_iter:
        output = net(X)
        l = loss(output, y.view(-1,1))
        optimizer.zero_grad()#梯度清零，
        l.backward()
        optimizer.step()
    print('epoch %d, loss:%f' %(epoch, l.item()))
    
dense = net[0]
print(true_w, dense.weight)
print(true_b, dense.bias)

两种实现方式的比较

1. 从零开始的实现（推荐用来学习）

能够更好的理解模型和神经网络底层的原理

2. 使用pytorch的简洁实现

能够更加快速地完成模型的设计与实现

参考：

《动手学深度学习》

Dxy17

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
线性回归

简介线性回归的输出是一个连续值，使用于回归问题（如房价预测、气温预测等）。线性回归可以理解为单层的神经网络。线性回归的基本要素本小节以一个简单的房屋价格预测作为例子来解释线性回归的基本要素。此应用的目标是预测一栋房子的售出价格（元）。我们知道房屋的价格取决于多种因素，如地段，房屋状况，市场行情等。这里为了简单起见，假设价格只与房屋的面积和房龄（年）两个因素有关。接下来探索房屋价格与房屋...
复制链接

扫一扫