ciaodvd数据集的简单介绍_从头学pytorch(三) 线性回归

实现线性回归

分为以下几个部分:

生成数据集

读取数据

初始化模型参数

定义模型

定义损失函数

定义优化算法

训练模型

生成数据集

我们构造一个简单的人工训练数据集，它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为1000，输入个数(特征数)为2。给定随机生成的批量样本特征 \(\boldsymbol{X} \in \mathbb{R}^{1000 \times 2}\)，我们使用线性回归模型真实权重 \(\boldsymbol{w} = [2, -3.4]^\top\) 和偏差 \(b = 4.2\)，以及一个随机噪声项 \(\epsilon\) 来生成标签

\[\boldsymbol{y} = \boldsymbol{X}\boldsymbol{w} + b + \epsilon

\]

其中噪声项 \(\epsilon\) 服从均值为0、标准差为0.01的正态分布。噪声代表了数据集中无意义的干扰。

%matplotlib inline

import torch

from IPython import display

from matplotlib import pyplot as plt

import numpy as np

import random

num_inputs = 2

num_examples = 1000

true_w = [2, -3.4]

true_b = 4.2

features = torch.from_numpy(np.random.normal(0, 1, (num_examples, num_inputs)))

print(type(features),features.shape)

labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b

print(type(labels),labels.shape)

labels += torch.from_numpy(np.random.normal(0, 0.01, size=labels.size()))

def use_svg_display():

# 用矢量图显示

display.set_matplotlib_formats('svg')

def set_figsize(figsize=(3.5, 2.5)):

use_svg_display()

# 设置图的尺寸

plt.rcParams['figure.figsize'] = figsize

set_figsize()

plt.scatter(features[:, 1].numpy(), labels.numpy(), 1);

读取数据

每次读取batch_size个样本.注意乱序读取.以使得每个batch的样本多样性足够丰富.

def data_iter(batch_size, features, labels):

num_examples = len(features)

#print(num_examples)

indices = list(range(num_examples))

random.shuffle(indices) # 样本的读取顺序是随机的

#print(indices)

for i in range(0, num_examples, batch_size):

j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # 最后一次可能不足一个batch

#print(j)

yield features.index_select(0, j), labels.index_select(0, j)

batch_size = 10

for X, y in dat