"""
3.2. 线性回归的从零开始实现
"""
from IPython import display
from matplotlib import pyplot as plt
from mxnet import autograd, nd
import random
"""
3.2.1. 生成数据集
训练数据集样本数为1000
输入个数(特征数)为2
给定随机生成的批量样本特征 X∈(1000, 2)
w=[2,−3.4]⊤
偏差 b=4.2以及一个随机噪声项 ϵ 来生成标签
y=Xw+b+ϵ
其中噪声项 ϵ 服从均值为0、标准差为0.01的正态分布
"""
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)
print("features[0]:", features[0])
print("labels[0]:", labels[0])
"""
通过生成第二个特征features[:, 1]和标签 labels 的散点图,
可以更直观地观察两者间的线性关系。
"""
def use_svg_display():
# 用矢量图显示
display.set_matplotlib_formats("svg")
def set_figsize(figsize=(3.5, 2.5)):
use_svg_display()
# 设置图的尺寸
plt.rcParams["figure.figsize"] = figsize
# set_figsize()
# plt.scatter(features[:, 0].asnumpy(), labels.asnumpy(), 1) # 加分号只显示图
# plt.show()
"""
3.2.2. 读取数据
在训练模型的时候,我们需要遍历数据集并不断读取小批量数据样本。
这里我们定义一个函数:它每次返回batch_size(批量大小)个随机样本的特征和标签。
"""
def data_iter(batch_size, features, labels):
num_examples = len(features)
# print("num_examples:", num_examples)
indices = list(range(num_examples))
# print("indices:", indices)
random.shuffle(indices)# 样本的读取顺序是随机的,把indices。
# print("indices:", indices)
for i in range(0, num_examples, batch_size):
j = nd.array(indices[i: min(i + batch_size, num_examples)])
yield features.take(j), labels.take(j)# take 函数根据索引返回对应元素
"""
让我们读取第一个小批量数据样本并打印。
每个批量的特征形状为(10, 2),分别对应批量大小和输入个数;标签形状为批量大小。
"""
batch_size = 10
for X, y in data_iter(batch_size, features, labels):
print("X:", X)
print("y:", y)
break
print("--------------------------------------------------------------")
"""
3.2.3. 初始化模型参数
我们将权重初始化成均值为0、标准差为0.01的正态随机数,偏差则初始化成0
"""
w = nd.random.normal(scale=0.01, shape=(num_inputs, 1))
b = nd.zeros(shape=(1, ))
"""
需要对这些参数求梯度来迭代参数的值,因此我们需要创建它们的梯度
"""
w.attach_grad()
b.attach_grad()
"""
3.2.4. 定义模型
线性回归的矢量计算表达式的实现。我们使用dot函数做矩阵乘法
"""
def linreg(X, w, b):
return nd.dot(X, w) + b
"""
3.2.5. 定义损失函数
"""
def squared_loss(y_hat, y):
return (y_hat - y.reshape(y_hat.shape)) ** 2 /2
"""
3.2.6. 定义优化算法
"""
def sgd(params, lr, batch_size):
for param in params:
param[:] = param - lr * param.grad / batch_size
"""
3.2.7. 训练模型
"""
lr = 0.03
num_epochs = 1000
net = linreg
loss = squared_loss
for epoch in range(num_epochs): # 训练模型一共需要num_epochs个迭代周期
# 在每一个迭代周期中,会使用数据集中所有样本一次(假设样本数能够被批量大小整除)。
# X和y分别是小批量样本的特征和标签
for X, y in data_iter(batch_size, features, labels):
with autograd.record():
l = loss(net(X, w, b), y) # l是有关小批量X和y的损失
l.backward() # 小批量的损失对模型参数求梯度
sgd([w, b], lr, batch_size)# 使用小批量随机梯度下降迭代模型参数
train_l = loss(net(features, w, b), labels)
print("epoch %d, loss %f" % (epoch + 1, train_l.mean().asnumpy()))
print("true_w:", true_w)
print("w:", w)
print("true_b:", true_b)
print("b:", b)
if __name__ == '__main__':
pass
3.2. 线性回归的从零开始实现
最新推荐文章于 2024-07-14 18:19:25 发布