李沐-动手学深度学习-线性回归

回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。

线性模型可以看做是单层神经网络。

线性回归是对n维输入的加权，外加偏差。

使用平方损失来衡量预测值和真实值的差异。

线性回归具有显示解。

基础优化算法：梯度下降

步骤1：挑选一个初始值w0

步骤2：重复迭代参数

沿梯度方向将增加损失函数值

学习率：步长的超参数

学习率：不能太小：效率低；也不能太大：震荡没有下降；

总结：

梯度下降通过不断沿着反梯度方向更新参数求解

小批量随机梯度下降是深度学习默认的求解模型

两个重要的超参数是批量大小和学习率

线性回归从零开始实现

我们将从零开始实现整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。导入random包（需要随机梯度下降，随机初始化权重）

根据带有噪声的线性模型构造一个人造数据集。我们使用线性模型参数W = [2,-3.4]T、b = 4.2和噪声项生成数据集及其标签：y = Xw + b + e

 featur