线性回归

线性回归

1. 基本要素（model,data set,loss function,优化函数）

• 解析解（公式）与数值解（优化算法有限次迭代模型参数）
• 小批量随机梯度

先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。

• 优化函数两个Step
  (i) 初始化模型参数，一般来说使用随机初始化
  (ii) 我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。
• 向量加法
  • 两个向量使用for循环按元素逐一做标量加法
  • 使用torch来将两个向量直接做矢量加法：

2. 模型实现
   1. 生成数据集
   2. 使用图像来展示生成的数据
   3. 读取数据集
   4. 初始化模型参数
   5. 定义模型
   6. 定义损失函数（均方误差损失函数）
   7. 定义优化函数
   8. 训练

• pytorch的简洁实现