生成数据集 ① 根据带有噪声的线性模型构造一个人造数据集。我们使用线性模型参数 𝐰=[2,−3.4]⊤ 、 𝑏=4.2 和噪声项ϵ生成数据集及其标签: 𝐲=𝐗𝐰+𝑏+𝜖 。
import random
import torch
from d2l import torch as d2l
defsynthetic_data(w,b,num_exaples):"""生成 y = Xw + b + 噪声"""
X = torch.normal(0,1,(num_exaples,len(w)))print("X.shape:",X.shape)
y = torch.matmul(X,w)+ b
print("y.shape:",y.shape)
y += torch.normal(0,0.01,y.shape)print("y.shape:",y.shape)return X, y.reshape((-1,1))
true_w = torch.tensor([2,-3.4])
true_b =4.2
features, labels = synthetic_data(true_w, true_b,1000)print("features.shape:",features.shape)print("labels.shape:",labels.shape)
绘制数据集 ① features中每一行都包含一个二维数据样本,labels中的每一行都包含一维标签值(一个标签)。
import random
import torch
from d2l import torch as d2l
defsynthetic_data(w,b,num_exaples):"""生成 y = Xw + b + 噪声"""
X = torch.normal(0,1,(num_exaples,len(w)))
y = torch.matmul(X,w)+ b
y += torch.normal(0,0.01,y.shape)return X, y.reshape((-1,1))
true_w = torch.tensor([2,-3.4])
true_b =4.2
features, labels = synthetic_data(true_w, true_b,1000)print('features:',features[0],'\nlabel:',labels[0])
d2l.set_figsize()
d2l.plt.scatter(features[:,1].detach().numpy(),labels.detach().numpy(),1)# 只有detach后才能转到numpy里面去
读取小批量
import random
import torch
from d2l import torch as d2l
defsynthetic_data(w,b,num_exaples):"""生成 y = Xw + b + 噪声"""
X = torch.normal(0,1,(num_exaples,len(w)))
y = torch.matmul(X,w)+ b
y += torch.normal(0,0.01,y.shape)return X, y.reshape((-1,1))
true_w = torch.tensor([2,-3.4])
true_b =4.2
features, labels = synthetic_data(true_w, true_b,1000)print('features:',features[0],'\nlabel:',labels[0])
d2l.set_figsize()
d2l.plt.scatter(features[:,(1)].detach().numpy(),labels.detach().numpy(),1)# data_iter函数接收批量大小、特征矩阵和标签向量作为输入,生成大小为batch_size的小批量defdata_iter(batch_size,features,labels):
num_examples =len(features)# 样本个数
indices =list(range(num_examples))# 样本索引# 这些样本是随即读取的,没有特定的顺序
random.shuffle(indices)# 把索引随即打乱for i inrange(0, num_examples, batch_size):
batch_indices = torch.tensor(indices[i:min(i+batch_size,num_examples)])# 当i+batch_size超出时,取num_examples yield features[batch_indices], labels[batch_indices]# 获得随即顺序的特征,及对应的标签
batch_size =10for X,y in data_iter(batch_size, features, labels):print(X,'\n', y)# 取一个批次后,就break跳出了break
完整模型
import random
import torch
from d2l import torch as d2l
defsynthetic_data(w,b,num_exaples):"""生成 y = Xw + b + 噪声"""
X = torch.normal(0,1,(num_exaples,len(w)))
y = torch.matmul(X,w)+ b
y += torch.normal(0,0.01,y.shape)return X, y.reshape((-1,1))
true_w = torch.tensor([2,-3.4])
true_b =4.2
features, labels = synthetic_data(true_w, true_b,1000)print('features:',features[0],'\nlabel:',labels[0])
d2l.set_figsize()
d2l.plt.scatter(features[:,(1)].detach().numpy(),labels.detach().numpy(),1)defdata_iter(batch_size,features,labels):
num_examples =len(features)# 样本个数
indices =list(range(num_examples))# 样本索引# 这些样本是随即读取的,没有特定的顺序
random.shuffle(indices)# 把索引随即打乱for i inrange(0, num_examples, batch_size):
batch_indices = torch.tensor(indices[i:min(i+batch_size,num_examples)])# 当i+batch_size超出时,取num_examples yield features[batch_indices], labels[batch_indices]# 获得随即顺序的特征,及对应的标签
batch_size =10for X,y in data_iter(batch_size, features, labels):print(X,'\n', y)# 取一个批次后,就break跳出了break# 定义初始化模型参数
w = torch.normal(0,0.01,size=(2,1),requires_grad=True)
b = torch.zeros(1,requires_grad=True)# 定义模型deflinreg(X,w,b):"""线性回归模型"""return torch.matmul(X,w)+b
# 定义损失函数defsquared_loss(y_hat,y):"""均方损失"""return(y_hat - y.reshape(y_hat.shape))**2/2# 将y统一成与y_hat一样同尺寸 # 定义优化算法defsgd(params,lr,batch_size):"""小批量随即梯度下降"""with torch.no_grad():# 不要产生梯度计算,减少内存消耗for param in params:# 每个参数进行遍历
param -= lr * param.grad / batch_size # 每个参数进行更新,损失函数没有求均值,所以这里除以 batch_size 求了均值。由于乘法的线性关系,这里除以放在loss的除以是等价的。
param.grad.zero_()# 每个参数的梯度清零# 训练过程
lr =0.03
num_epochs =3
net = linreg # 这里用线性模型,这样写是很方便net赋予其他模型,只需要改一处,不需要下面所有网络模型名称都改
loss = squared_loss
# 训练过程for epoch inrange(num_epochs):for X,y in data_iter(batch_size,features,labels):
l = loss(net(X,w,b),y)# x和y的小批量损失# 因为l是形状是(batch_size,1),而不是一个标量。l中所有元素被加到一起# 并以此计算关于[w,b]的梯度
l.sum().backward()
sgd([w,b],lr,batch_size)#使用参数的梯度更新参数with torch.no_grad():
train_l = loss(net(features,w,b),labels)print(f'epoch{epoch+1},loss{float(train_l.mean()):f}')# 比较真实参数和通过训练学到的参数来评估训练的成功程度print(f'w的估计误差:{true_w-w.reshape(true_w.shape)}')print(f'b的估计误差:{true_b-b}')
线性回归
import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l
from torch import nn
true_w = torch.tensor([2,-3.4])
true_b =4.2
features, labels = d2l.synthetic_data(true_w,true_b,1000)# 库函数生成人工数据集 # 调用框架现有的API来读取数据defload_array(data_arrays,batch_size,is_train=True):"""构造一个Pytorch数据迭代器"""
dataset = data.TensorDataset(*data_arrays)# dataset相当于Pytorch的Dataset。一个星号*,表示对list解开入参。 return data.DataLoader(dataset,batch_size,shuffle=is_train)# 返回的是从dataset中随机挑选出batch_size个样本出来
batch_size =10
data_iter = load_array((features,labels),batch_size)# 返回的数据的迭代器print(next(iter(data_iter)))# iter(data_iter) 是一个迭代器对象,next是取迭代器里面的元素 # 使用框架的预定义好的层# nn是神经网络的缩写
net = nn.Sequential(nn.Linear(2,1))# 初始化模型参数
net[0].weight.data.normal_(0,0.01)# 使用正态分布替换掉weight变量里面的数据值
net[0].bias.data.fill_(0)# 偏差bias变量里面的值设置为0print(net[0])# 计算均方误差使用的是MSELoss类,也称为平方L2范数
loss = nn.MSELoss()#L1是算术差,L2是平方差# 实例化SGD实例
trainer = torch.optim.SGD(net.parameters(),lr=0.03)# 训练过程代码与从零开始时所做的非常相似
num_epochs =3for epoch inrange(num_epochs):for X, y in data_iter:# 从DataLoader里面一次一次把所有数据拿出来# print("X:",X)# print("y:",y)
l = loss(net(X),y)# net(X) 为计算出来的线性回归的预测值
trainer.zero_grad()# 梯度清零
l.backward()
trainer.step()# SGD优化器优化模型
l = loss(net(features),labels)print(f'epoch{epoch+1},loss{l:f}')