从头学pytorch(三) 线性回归

关于什么是线性回归,不多做介绍了.可以参考我以前的博客https://www.cnblogs.com/sdu20112013/p/10186516.html

实现线性回归

分为以下几个部分:

• 生成数据集
• 读取数据
• 初始化模型参数
• 定义模型
• 定义损失函数
• 定义优化算法
• 训练模型

生成数据集

我们构造一个简单的人工训练数据集，它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为1000，输入个数（特征数）为2。给定随机生成的批量样本特征 \(\boldsymbol{X} \in \mathbb{R}^{1000 \times 2}\)，我们使用线性回归模型真实权重 \(\boldsymbol{w} = [2, -3.4]^\top\) 和偏差 \(b = 4.2\)，以及一个随机噪声项 \(\epsilon\) 来生成标签
\[ \boldsymbol{y} = \boldsymbol{X}\boldsymbol{w} + b + \epsilon \]

其中噪声项 \(\epsilon\) 服从均值为0、标准差为0.01的正态分布。噪声代表了数据集中无意义的干扰。

%matplotlib inline
import torch
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random

num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.from_numpy(np.random.normal(0, 1, (num_examples, num_inputs)))
print(type(features),features.shape)
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
print(type(labels),labels.shape)
labels += torch.from_numpy(np.random.normal(0, 0.01, size=labels.size()))

def use_svg_display():
    # 用矢量图显示
    display.set_matplotlib_formats('svg')

def set_figsize(figsize=(3.5, 2.5)):
    use_svg_display()
    # 设置图的尺寸
    plt.rcParams['figure.figsize'] = figsize
    
set_figsize()
plt.scatter(features[:, 1].numpy(), labels.numpy(), 1);

读取数据

每次读取batch_size个样本.注意乱序读取.以使得每个batch的样本多样性足够丰富.

def data_iter(batch_size, features, labels):
    num_examples = len(features)
    #print(num_examples)
    indices = list(range(num_examples))
    random.shuffle(indices)  # 样本的读取顺序是随机的
    #print(indices)
    for i in range(0, num_examples, batch_size):
        j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # 最后一次可能不足一个batch
        #print(j)
        yield  features.index_select(0, j), labels.index_select(0, j)
        
batch_size = 10

for X, y in data_iter(batch_size, features, labels):
    #print(X, y)
    #break
    pass

关于yiled用法参考: