本篇文章的服务对象是没有武力值也想和pytorch沾沾边的小白朋友们,主要的内容是对于经典代码的逐行解读,解读内容以注释的形式展示。
本篇文章的代码来源为(李沐 动手学深度学习pytorch版)
import random
import torch
from d2l import torch as d2l
from matplotlib import pyplot as plt
# 首先构造一个人造数据集,好处:知到真实的w,b
def synthetic_data(w, b, num_examples): # w,b给定,我们也知道要生成多少个样本
"""生成y=Xw+b+噪声"""
X = torch.normal(0, 1, (num_examples, len(w))) # 均值为0,方差为1的随机数,有n个样本,列数是W的长度
y = torch.matmul(X, w) + b # 公式(下面一行是随机的噪音)
y += torch.normal(0, 0.01, y.shape) # 随机的噪音,均值为0方差为0.01,形状和y一样
# 此处b是个一维向量,当matmul的第一个参数是2维向量,第2个参数是一维向量时,返回的是矩阵和向量的乘积,结果是向量,因此,y需要reshape
# 其中reshape函数后面的(-1)表示由pytorch自己判断有很多行,但是1,只有1列
return X, y.reshape((-1, 1))
true_w = torch.tensor([2, -3.4]) # 给定数据直接创建一个tensor
true_b = 4.2 # 给定b
features, labels = synthetic_data(true_w, true_b, 1000) # 生成特征和标注,其中1000是num_examples,即,有多少个样本
# 展示一下
print('features:', features[0],'\nlabel:', labels[0])
d2l.set_figsize()
# features,把特征的第一列画一下,把label的第一列画一下
d2l.plt.scatter(features[:, 1].detach().numpy(),
labels.detach().numpy(), 1) # 一些pytorch版本要先detach出来再转到numpy里面
plt.show()
# 每次读取一个小批量,该函数生成大小为batch_size的小批量
def data_iter(batch_size, features, labels):
num_examples = len(features) # num_examples样本的数量
indices = list(range(num_examples)) # range表示从0到(n-1)的全部范围,indices索引
# 这些样本是随机读取的,没有特定的顺序
random.shuffle(indices) # shuffle列表中的元素随机打乱,打乱以后就可以用随机的数据去访问样本,注意:stuffle只作用于list,不作用于tensor
for i in range(0, num_examples, batch_size): # 从0到num_examples截止,每次跳batch_size个大小
batch_indices = torch.tensor(
indices[i: min(i + batch_size, num_examples)]) # 最后一次的batch_size可能会不足,所以就取最小值。
yield features[batch_indices], labels[batch_indices] # yield作用和return相似,但是会记住这个位置下次迭代从这个位置开始
batch_size = 10 # 给定小批量的大小
for X, y in data_iter(batch_size, features, labels): # 调用这个函数,得到一个10*2的tensor,y是一个10*1的一个向量
print(X, '\n', y)
break
# 定义初始化模型
w = torch.normal(0, 0.01, size=(2,1), requires_grad=True) # 随机初始化为均值为0,方差为0.01的正态分布,长为2的一个向量
# requires_grad=True 的作用是让 backward 可以追踪这个参数并且计算它的梯度。需要计算梯度所以requires_grad=True
b = torch.zeros(1, requires_grad=True) # 偏差
def linreg(X, w, b): #@save
"""线性回归模型"""
return torch.matmul(X, w) + b
# 定义损失函数,方法为平方损失函数,有公式的 注意这里没有求和,求和部分在后面的运行部分
def squared_loss(y_hat, y): #y是真实值,hat是预测值
# 元素个数是一样的,但是可能一个是行一个是列之类,所以reshape,并且这个得出来的是一个向量
return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2
def sgd(params, lr, batch_size):
"""小批量随机梯度下降"""
with torch.no_grad(): # 现在不要计算梯度
for param in params: # 对于每一个参数,可能是w可能是b
param -= lr * param.grad / batch_size # (lr学习率)梯度储存在.grad里面 这里除以,得出了均值
param.grad.zero_() # pytorch不会自动把梯度设成0,要手动把梯度设成0
# 上文中已将所有的模块都设计好了,下面开始训练
# 指定一些超参数
lr = 0.03 # 学习率
num_epochs = 3 # 训练三遍
net = linreg # net(模型)直接等于之前设定的linreg,也方便了后续改用其他的模型
loss = squared_loss # loss定义为均方损失
# 训练的途径,之后也差不多,用两层for
for epoch in range(num_epochs):
for X, y in data_iter(batch_size, features, labels): # 每次拿出一个批量大小的xy
l = loss(net(X, w, b), y) # X和y的小批量损失,net(X, w, b)这个是预测的y,再和真实的y一起做损失
# 因为l形状是(batch_size,1),而不是一个标量。l中的所有元素被加到一起,
# 并以此计算关于[w,b]的梯度
l.sum().backward() # 均方求和的求和体现在这里,.sum()是求和,.backward()是算梯度
sgd([w, b], lr, batch_size) # 使用参数的梯度更新参数(sgd是之前定义的小批量随机梯度下降)
# 这里是在一周期以后进行的进度评价
with torch.no_grad(): # 不需要梯度
train_l = loss(net(features, w, b), labels)
print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')
# 由于我们是做的人工数据集,我们是知到真实的w和b的所以我们可以通过学习的结果和真是的结果作对比
print(f'w的估计误差: {true_w - w.reshape(true_w.shape)}')
print(f'b的估计误差: {true_b - b}')
# 可以改变学习率看看,学习率过大或者过小对于结果的影响
新手上路多多包涵,如有错误多多指教。