动手学习深度学习1-2-深度学习的一般步骤

生成数据集

我们构造一个简单的人工训练数据集，它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为 1000，输入个数（特征数）为 2。给定随机生成的批量样本特征 X∈ℝ1000×2X∈R1000×2，我们使用线性回归模型真实权重 w=[2,−3.4]⊤w=[2,−3.4]⊤ 和偏差 b=4.2b=4.2，以及一个随机噪音项 ϵϵ 来生成标签

 

y=Xw+b+ϵ,y=Xw+b+ϵ,

其中噪音项 ϵϵ 服从均值为 0 和标准差为 0.01 的正态分布。下面，让我们生成数据集。

定义模型：

构造一个数据迭代器-》定义网络模型、定义损失函数、定义优化模型-》训练模型

训练模型

在训练中，我们将多次迭代模型参数。在每次迭代中，我们根据当前读取的小批量数据样本（特征X和标签y），通过调用反向函数backward计算小批量随机梯度，并调用优化算法sgd迭代模型参数。由于我们之前设批量大小batch_size为 10，每个小批量的损失l的形状为（10，1）。由于变量l并不是一个标量，运行l.backward()将对l中元素求和得到新的变量，再求该变量有关模型参数的梯度。

在一个迭代周期（epoch）中，我们将完整遍历一遍data_iter函数，并对训练数据集中所有样本都使用一次（