应该算是史上最全的代码注解了吧，基本上是完全的从零开始也能看懂。大家一起进步
import random # 要随机梯度下降和随机初始化权重
import torch # 基于pytorch版本
from d2l import torch as d2l # 因为基于pytorch的版本，所以从D2L中导入pytorch模具
# 根据带有噪声的线性模型构造一个人造数据集，我们使用线性模型参数w=[2,-3,4]T、b=4.2和噪声e生成数据集及其标签：
# 首先要构造一个数据集,
def synthetic_data(w, b, num_examples): # num_examples为要生成的样本数量
"""生成 y=Xw+b+噪声。"""
X = torch.normal(0, 1, (num_examples,len(w))) # 构造一个均值为0，方差为1，样本数为num_examples，样本维数为len(w)的序列。#
# 这里的X指房屋的关键因素集，长度len(w)即列数，表明有len(w)个关键因素，这里是2，比如“卧室个数”和“房屋面积”两个关键因素，X的行数num_examples = 房屋数量
y = torch.matmul(X, w) + b # 把X与w进行相乘，例子中是1000*2的矩阵与2*1的矩阵相乘,matmul表示矩阵相乘。matmul函数计算出的y实际上是一维的张量，size[1000]，通过reshape把一维张量y变成了列向量，size[1000,1]
y += torch.normal(0, 0.01, y.shape) # 加上均值为零，方差为0.01的白噪声，形状与y一样
return X, y.reshape((-1, 1)) # 把X和y做成列向量返回，reshape -1表示无添加，自动计算转化填入数值，后面的1表示1列，即列向量为1。
# -1为一个通配符，意思是行数自动匹配，列数为1
true_w = torch.tensor([2, -3.4])
true_b = 4.2 # 定义真实的w和真实的b
features, labels = synthetic_data(true_w, true_b, 1000) # 生成特征及标注，这个函数返回的特征与标签，相当于分别把真实的房屋‘关键因素’和对应的‘房价’列出来。这一页的信息，相当于去市场调研收集真实的房屋数据。
#看一下训练样本的样子及分布图
print('features:', features[0], '\nlable:', labels[0]) # 'features:'对应输出的features:,features[0]意思是第0个样本；
# \n添加换行符，\t添加制表符（空格）
d2l.set_figsize() # 设置图表大小
d2l.plt.scatter(features[:,1].detach().numpy(), labels.detach().numpy(), 1)# features[:, 1]为特征的第一列。在pytorch的一些版本中需要把他从计算图里detach掉才能导入到numpy中。最后一个1是绘制点直径的大小
d2l.plt.show() # pycharm中画图的时候要用plt.show(),Pycharm中画图工具是matplot，在这里被封装进d2l中，所以直接使用d2l即可，
#批量读取数据集
def data_iter(batch_size, features, labels): # 特征矩阵和标签向量作为输入，生成大小为batch_size的小批量
num_examples = len(features) # 样本数为num_examples，样本维数为len(feature)的序列
indices = list(range(num_examples)) # 生成对每个样本的索引（range：从0到n-1的样本变成Python的list）
random.shuffle(indices) # 打乱下标，可以随机顺序访问样本
for i in range(0, num_examples, batch_size): # 从0开始到num_examples,每次取走batch_size个数据
batch_indices = torch.tensor(indices[i:min(i+batch_size, num_examples)]) #得到i到i+batch_size随机的批量大小的indices，之所以用min是如果样本数不能整除批量大小的时候，应该取到最后一个样本
yield features[batch_indices], labels[batch_indices] # yield就是return返回一个值，并记住返回值的位置，下次迭代从此位置后开始；return返回函数会终止，yield不会
# 备注：yield是python的一个关键字,一个带有yield的函数就是一个生成器generator.当你使用一个yield的时候，对应的函数就是一个生成器了。生成器的功能就是在yield的区域进行迭代进行。
# yield 是一个类似 return 的关键字，迭代一次遇到yield时就返回yield后面(右边)的值。重点是：下一次迭代时，从上一次迭代遇到的yield后面的代码(下一行)开始执行。return 的作用：如果没有 return，则默认执行至函数完毕，返回的一般是 yield的变量
# 在python的函数（function）定义中，只要出现了yield表达式（Yield expression），那么事实上定义的是一个generator function， 调用这个generator function返回值是一个generator。
batch_size = 10
for X, y in data_iter(batch_size, features, labels):
print(X, '\n', y) # 得到X（10 *2）的一个tensor y(10 * 1)的向量
break
# 定义初始化模型参数。在使用SGD优化算法前，要先有一些参数。
w = torch.normal(0, 0.01, size=(2, 1),requires_grad=True) # 从均值为0，方差为0.01的正态分布中随机初始化权重。w是2*1的，2表示特征，1表示标签
b = torch.zeros(1, requires_grad=True) # 将偏置初始化为0。1表示它是一维的标量
# requires_grad都是true表示它们要计算梯度
# 定义模型
def linreg(X, w, b): # 定义一个线性模型
return torch.matmul(X, w) + b
# 定义损失函数
def squared_loss(y_hat, y): # 均方损失
return(y_hat - y.reshape(y_hat.shape)) ** 2 / 2 # y_hat是预测值，y是真实值，要保证两者形状统一，差先按元素平方然后按元素除二
# 定义优化算法
def sgd(params, lr, batch_size): # 该函数接收模型参数集合、学习率和批量大小作为输入，每一步更新的大小由lr决定。由于计算的损失是一个批量样本的总和，所以用批量大小来规范化步长。params-给定所有参数list包含w b,即params是个列表，里面包含w和b
with torch.no_grad(): # 不需要计算梯度
for param in params: # 每一个w和b
param -= lr * param.grad / batch_size # 除以batch_size的操作是求均值操作，由于是线性关系，所以在此求均值也可；梯度是会存在.grad中
param.grad.zero_() # 梯度置零。当下次计算时不用和这次相关了
# 训练
lr = 0.03
num_epochs = 3
net = linreg # 模型就是之前定义的linreg
loss = squared_loss # 损失函数也是之前定义的
for epoch in range(num_epochs): # 每一次对数据扫一遍
for X, y in data_iter(batch_size, features, labels): # 每次拿出一组X,y。X表示特征，y表示label
l = loss(net(X, w, b), y) # 把预测的y和真实的y做损失，出来的损失是长为批量大小的向量
l.sum().backward() # 求和之后算梯度因为l形状是(batch_size, 1)，而不是一个标量。l中的所有元素被加到一起， 并以此计算关于[w, b]的梯度
sgd([w, b], lr, batch_size) # 使用参数的梯度更新参数
with torch.no_grad():
train_l = loss(net(features, w, b), labels) # 计算损失，不用计算梯度
print(f'epoch{epoch + 1}, loss{float(train_l.mean()):f}')
print(f'w的估计误差: {true_w - w.reshape(true_w.shape)}')
print(f'b的估计误差: {true_b - b}')
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
