深度学习（1）——线性回归

本文要用的包

import random
import torch
from d2l import torch as d2l

解决什么样的问题

线性回归解决的最常见问题就是波士顿房价问题，如果一个问题如房价一样，y值（房屋总价）与一个或多个变量（房屋的面积，卧室数量等影响房价的变量）存在某种线性关系，那么我们就可以用线性回归来求得这些变量所对应的权重是多少，通常还会有一个误差值，公式如下：
y=k1X1+K2X2+…+b（误差），其中K就是权重，X就是变量，b就是误差
矩阵的写法如下：
y=Xw+b ，其中X就是i（样本数量）行j（变量个数）列的矩阵，w就是j（变量个数）行1列的矩阵，b是i（样本数量）行1列的矩阵，Xw即X点乘w
有了权重值，有了某套即将上架的房子各种决定性变量，那么就可以预测这个房子的总价了！

一个例子

假设这个问题的y值由w个变量决定，具有一定的线性关系，现有n组样本值，求w个变量对应的权重值。

创建一个数据集

样本集：创建n个样本，每个样本有a个变量值，n个样本的变量满足正态分布，形成一个n行a列的矩阵X
正确的权重值：w，是一个a行1列的矩阵
正确的误差值：b
正确的y值=Xw+b
那么现在已知X和Y作为样本集，接下来就是通过线性回归去求变量的权重值。
下面的函数可以生成样本数据

def synthetic_data(w, b, num_examples):  #@save
   """生成y=Xw+b+噪声"""
   X = torch.normal(0, 1, (num_examples, len(w)))#均值0，方差1，n行len（w）列的矩阵
   y = torch.matmul(X, w) + b #点乘
   y += torch.normal(0, 0.01, y.shape)#随机误差
   return X, y.reshape((-1, 1)) #-1表示自动计算，1表示列，即形成一列

下面的代码给出了正确的权重值w和误差值b，features和labels分别代表样本数据和真实的y值，样本量为1000

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = synthetic_data(true_w, true_b, 1000)

下面的代码可以以绘图的形式体现y值与变量是否存在线性关系，在做实际问题时，可以先检验一下线性关系，如果存在这样的关系，那么就可以用线性回归来解决。

d2l.set_figsize()
d2l.plt.scatter(features[:, (0)].detach().numpy(), labels.detach().numpy(), 1);

读取数据集

这个函数用来按批次读取数据集，形参分别是每批读多少组数据（batch_size），全体样本数据（features），全体样本数据的结果（labels）

def data_iter(batch_size, features, labels):
    num_examples = len(features) #记录样本数量
    indices = list(range(num_examples)) #0-num_examples的一个列表
    # 这些样本是随机读取的，没有特定的顺序
    random.shuffle(indices) #将0-num_examples个数打乱
    print(indices)#打乱的目的是，每次调用这个函数的时候，读取的数据集的顺序都是不一样的，这样的迭代才有意义
    for i in range(0, num_examples, batch_size):#逐批读数据
        batch_indices = torch.tensor(
            indices[i: min(i + batch_size, num_examples)])#获得每批数据的下标
        print(batch_indices)
        yield features[batch_indices], labels[batch_indices] #return并记住下次迭代的位置

初始化模型参数

接下来我们会通过迭代使得w和b无限接近于真实情况，迭代方法会在下一小节详述，那么迭代开始之前，w和b会有一个初始的值，初始值如下：

w = torch.normal(0, 0.01, size=(2,1), requires_grad=True) #均值0 方差0.01的正态分布 2行1列 初始给的w值。
b = torch.zeros(1, requires_grad=True) #b初始给0

定义模型

这一小节是线性回归最重要的一环，模型定义

1. 线性回归模型

torch.matmul就是torch这个包中的点乘方法，这个函数return的就是y值

def linreg(X, w, b):  #@save
    """线性回归模型"""
    return torch.matmul(X, w) + b

2. 损失函数
   损失函数是判断预测值结果是否准确的重要函数，同时对损失函数求导对于迭代有着十分重要的作用

def squared_loss(y_hat, y):  #@save y_hat为预测值，y是真实值
    """均方损失"""
    return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2

3. 优化算法
   通过迭代这个算法可以使得w和b值达到最优，其中param.grad就是b或w的导数

def sgd(params, lr, batch_size):  #@save
    """小批量随机梯度下降"""
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size #这是优化的关键算法，其中lr是学习率，需要给出的
            param.grad.zero_()

这个关键算法的数学公式如下

训练

1. 参数定义

lr = 0.03 #学习率
num_epochs = 3 #扫描整个数据三遍
net = linreg #线性回归模型
loss = squared_loss #损失函数

2. 训练

for epoch in range(num_epochs):
    for X, y in data_iter(batch_size, features, labels):
        l = loss(net(X, w, b), y)  # X和y的小批量损失
        print("l:",l)
        # 因为l形状是(batch_size,1)，而不是一个标量。l中的所有元素被加到一起，
        # 并以此计算关于[w,b]的梯度
        l.sum().backward()#通过对一批损失值求导，可以得到这批损失值对w和b的偏导
        print("w:",w,"b:",b)
        sgd([w, b], lr, batch_size)  # 使用参数的梯度更新参数
        print("w:",w,"b:",b)
    with torch.no_grad():
        train_l = loss(net(features, w, b), labels)
        print(train_l)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}',w,b)

这就是对一批损失值求和后的均值，对其求w的偏导，令其得0，就可以得到w*，用数学方式计算如下，用代码就是上面的表现形式了。


第一次扫描数据开始，对一批数使用上述算法可以得到第一次的w和b值，经过（样本数/批数）次的迭代后，可以得到一个非常接近结果的值。接下来重复上述操作，进行第二次数据扫描，由于data_iter这个函数将样本下标再一次打乱，因此这次获取的样本的顺序和上一次不一样，在上一次扫描的基础上，也就是拿着上一次扫描最后的w和b值，继续做迭代，可以使得第二次扫描结果更加接近正确则，做三次扫描，结果无比接近！

小结一下

对于有大样本，有线性关系的数据来说，用线性回归来做预测是十分有效的！第一次发帖，记录自己学习的点滴~欢迎您的指教与批评。