3.2. 线性回归的从零开始实现

"""
3.2. 线性回归的从零开始实现
"""
from IPython import display
from matplotlib import pyplot as plt
from mxnet import autograd, nd
import random

"""
3.2.1. 生成数据集
训练数据集样本数为1000
输入个数（特征数）为2
给定随机生成的批量样本特征 X∈(1000, 2)
w=[2,−3.4]⊤
偏差 b=4.2以及一个随机噪声项 ϵ 来生成标签
y=Xw+b+ϵ
其中噪声项 ϵ 服从均值为0、标准差为0.01的正态分布
"""
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)

print("features[0]:", features[0])
print("labels[0]:", labels[0])
"""
通过生成第二个特征features[:, 1]和标签 labels 的散点图，
可以更直观地观察两者间的线性关系。
"""

def use_svg_display():
    # 用矢量图显示
    display.set_matplotlib_formats("svg")

def set_figsize(figsize=(3.5, 2.5)):
    use_svg_display()
    # 设置图的尺寸
    plt.rcParams["figure.figsize"] = figsize


# set_figsize()
# plt.scatter(features[:, 0].asnumpy(), labels.asnumpy(), 1) # 加分号只显示图
# plt.show()
"""
3.2.2. 读取数据
        在训练模型的时候，我们需要遍历数据集并不断读取小批量数据样本。
        这里我们定义一个函数：它每次返回batch_size（批量大小）个随机样本的特征和标签。
"""
def data_iter(batch_size, features, labels):
    num_examples = len(features)
    # print("num_examples:", num_examples)
    indices = list(range(num_examples))
    # print("indices:", indices)
    random.shuffle(indices)# 样本的读取顺序是随机的,把indices。
    # print("indices:", indices)
    for i in range(0, num_examples, batch_size):
        j = nd.array(indices[i: min(i + batch_size, num_examples)])
        yield features.take(j), labels.take(j)# take 函数根据索引返回对应元素

"""
让我们读取第一个小批量数据样本并打印。
每个批量的特征形状为(10, 2)，分别对应批量大小和输入个数；标签形状为批量大小。
"""
batch_size = 10
for X, y in data_iter(batch_size, features, labels):
    print("X:", X)
    print("y:", y)
    break

print("--------------------------------------------------------------")
"""
3.2.3. 初始化模型参数
我们将权重初始化成均值为0、标准差为0.01的正态随机数，偏差则初始化成0
"""
w = nd.random.normal(scale=0.01, shape=(num_inputs, 1))
b = nd.zeros(shape=(1, ))
"""
需要对这些参数求梯度来迭代参数的值，因此我们需要创建它们的梯度
"""
w.attach_grad()
b.attach_grad()


"""
3.2.4. 定义模型
线性回归的矢量计算表达式的实现。我们使用dot函数做矩阵乘法
"""
def linreg(X, w, b):
    return nd.dot(X, w) + b
"""
3.2.5. 定义损失函数

"""
def squared_loss(y_hat, y):
    return (y_hat - y.reshape(y_hat.shape)) ** 2 /2


"""
3.2.6. 定义优化算法
"""
def sgd(params, lr, batch_size):
    for param in params:
        param[:] = param - lr * param.grad / batch_size

"""
3.2.7. 训练模型
"""

lr = 0.03
num_epochs = 1000
net = linreg
loss = squared_loss

for epoch in range(num_epochs): # 训练模型一共需要num_epochs个迭代周期
    # 在每一个迭代周期中，会使用数据集中所有样本一次(假设样本数能够被批量大小整除)。
    # X和y分别是小批量样本的特征和标签
    for X, y in data_iter(batch_size, features, labels):
        with autograd.record():
            l = loss(net(X, w, b), y) # l是有关小批量X和y的损失
        l.backward() # 小批量的损失对模型参数求梯度
        sgd([w, b], lr, batch_size)# 使用小批量随机梯度下降迭代模型参数
    train_l = loss(net(features, w, b), labels)
    print("epoch %d, loss %f" %  (epoch + 1, train_l.mean().asnumpy()))

print("true_w:", true_w)
print("w:", w)

print("true_b:", true_b)
print("b:", b)











if __name__ == '__main__':
    pass