《深度学习详解》笔记记录-Task1

神经网络训练问题笔记

1. 局部最小值（Local Minima）与鞍点（Saddle Point）

• 局部最小值：在该点的梯度为零，且该点周围的损失值都比这一点高。
• 鞍点：梯度也为零，但与局部最小值不同，鞍点在某些方向上损失可以更低，而在其他方向上损失可能更高。
• 临界点：梯度为零的点，包括局部最小值、局部最大值和鞍点。
• 判断方法：通过泰勒级数近似和海森矩阵（Hessian matrix）来判断临界点的类型。
  • 如果海森矩阵是正定的，那么临界点是局部最小值。
  • 如果海森矩阵是负定的，那么临界点是局部最大值。
  • 如果海森矩阵的特征值有正有负，那么临界点是鞍点。

2. 批量（Batch）与动量（Momentum）

• 批量大小：在计算梯度时，将数据分成不同大小的批量，批量大小影响梯度下降法的稳定性和效率。
  • 全批量梯度下降（BGD）：使用所有数据计算梯度，每次更新稳定但计算量大。
  • 随机梯度下降（SGD）：每次使用一个数据点计算梯度，更新频繁但方向嘈杂。
• 批量梯度下降的影响：
  • 大批量可能导致训练过程稳定但可能陷入“峡谷”中的局部最小值。
  • 小批量可能导致更新方向嘈杂，有助于跳出局部最小值，但训练时间较长。
• 动量法：模拟物理中的惯性，通过历史梯度的加权和来更新参数，有助于跳出鞍点和局部最小值。
  • 动量更新公式：mt=λmt−1−η∇θJ(θt−1)mt​=λmt−1​−η∇θ​J(θt−1​) 其中，mtmt​是当前步的动量，λλ是动量参数，ηη是学习率，∇θJ(θt−1)∇θ​J(θt−1​)是当前步的梯度。

3. 自适应学习率

• 学习率调整对于优化过程至关重要，自适应学习率方法可以根据训练过程中的反馈自动调整学习率。

4. 实验与观察

• 实验表明，小批量在测试时表现更好，可能因为它们倾向于找到泛化性更强的解。
• 大批量训练可能需要特别的方法来避免陷入过拟合。

5. 结论

• 神经网络训练中，理解和识别局部最小值和鞍点对于优化至关重要。
• 选择合适的批量大小和使用动量法可以帮助网络更好地训练，避免陷入不理想的局部解。
• 自适应学习率和其他高级优化技术可以进一步提高训练效率和模型性能。

验证不同批量大小对神经网络训练效果的影响：

1. 选择一致的数据集和神经网络架构：确保所有实验使用相同的数据集和网络结构。

2. 确定实验的超参数：除了批量大小外，其他如学习率和训练周期等超参数应保持不变。

3. 选择并测试一系列不同的批量大小：进行实验以观察不同批量大小对训练的影响。

4. 记录关键训练指标：包括训练和验证的损失与准确率。

5. 比较不同批量大小的性能：分析训练速度、稳定性和模型的泛化能力。

6. 可视化和分析结果：通过图表展示不同批量大小下的性能变化，深入分析数据。

7. 撰写实验报告：总结实验过程、结果和发现的结论。