【动手学深度学习】08 线性回归 + 基础优化算法（个人向笔记）

1. 线性回归

• 一个简化的模型：
  
• 我们可以这样来定义线性模型：注意这里先转置变成了列向量
• 线性模型可以被看成时一个单层的神经网络：单层是因为单层参数
  - 用一个函数来衡量预估质量：损失函数
  
• 在训练的时候寻找最小化的损失的参数 w 和 b，即预估质量最好
  

---

2. 基础优化方法

• 在整个训练集上做梯度是耗时的，固采样随机样本来近似损失
  
• 批量的选择
  

---

3. 从零开始实现线性回归

• 导入相关的包：random用于随机化初始参数
  
  
  
  

其中 matmul 的用法如下：

• 写一个 data_iter 函数来从样本中获取一个batch的数据量
  
• 对于这段代码我的疑问比较多，如下
• yield是什么？
  
  
• batch_indices的类型是从indices构建的张量，而featrue和label也是张量，这里可以将张量作为张量的索引吗？
  
• 定义模型和它的参数
  
• 定义损失和优化函数
  
• 训练
  
• 比较真实参数的训练得到的神经网络的参数
  

---

线性回归的简洁实现

• 上面没有使用框架纯手搓了一个，下面使用深度学习框架实现一个
• 导入相应的包并且定义真实的参数和获取数据
  
• 可以用把数据变成dataset形式，然后用DataLoaer来访问数据。
• DataLoader可以用iter和next访问
  
• 其中 *data_arrays 的语法存在疑问
  
• 还有 iter 和 next 的语法
  
• 使用框架预定好的层并初始化模型参数
  
• 使用均方误差（也称为平方范数），并实例化SGD实例
• 其中 net.parameters() 包括了 net 里面的所有参数（在这里是 w 和 b），还需要指定学习率
  
• 训练过程和从零开始非常相似