机器学习学习笔记：深入理解梯度下降与深度学习（Datawhale X 李宏毅苹果书 AI夏令营）

引言

在学习机器学习的过程中，我接触到了很多新颖的概念，篇幅有限，在这里我就不一一列举了，我将截取其中的梯度下降这一概念，来为大家做解释。

在探索机器学习的旅程中，梯度下降算法作为优化技术的基石，扮演着至关重要的角色。尤其是在深度学习中，梯度下降是训练神经网络、最小化损失函数的核心方法。本篇笔记将结合我在《深度学习详解》一书第一章的内容，深入剖析梯度下降的原理、应用及其在实际操作中的心得体会。
 

梯度下降基本原理

误差表面与梯度

误差表面是描述模型预测值与真实值之间差异的函数图像。在一维情况下，误差表面是一个曲线；在多维情况下，则是一个超曲面。梯度下降法通过计算误差表面在某点的梯度（即切线的斜率），来决定参数更新的方向。梯度的方向指向了函数值增加最快的方向，因此，我们沿着梯度的反方向（即负梯度方向）更新参数，以期望找到使损失函数最小的参数值。
 

参数更新

给定初始参数值 w0​，我们计算在当前点 w=w0​ 处的梯度 ∂w∂L​，然后根据梯度和学习率 η 更新参数值：
w1​←w0​−η∂w∂L​∣w=w0​​
这个过程会反复进行，直到满足停止条件（如达到预设的迭代次数或梯度接近0）。

学习心得

1. 学习率的重要性：学习率 η 是一个关键的超参数，它决定了参数更新的步长。过大的学习率可能导致算法在最优解附近震荡，甚至发散；过小的学习率则会使算法收敛速度过慢。在实际应用中，常常需要通过试错法或采用学习率调度策略来找到合适的学习率。

2. 局部最小值与全局最小值：梯度下降法的一个常见批评是它可能陷入局部最小值而非全局最小值。然而，在实际应用中，局部最小值往往已经足够好，因为很多复杂函数的误差表面非常崎岖，找到全局最小值极其困难且不一定带来显著的性能提升。此外，随机初始化和动量、RMSprop等优化算法的引入，也有助于逃离局部最小值。

3. 多维参数的梯度下降：当模型参数不止一个时，需要同时计算所有参数的梯度并进行更新。在深度学习中，这通常通过反向传播算法自动完成。反向传播算法利用链式法则计算损失函数关于每个参数的梯度，并逐层更新网络参数。

4. 深度学习框架的便利：现代深度学习框架（如PyTorch、TensorFlow）极大地简化了梯度下降的实现。这些框架不仅提供了自动微分功能，还内置了多种优化算法（如SGD、Adam等），使得模型训练变得更加高效和便捷。

知识点总结

• 梯度下降：通过计算误差表面的梯度并沿负梯度方向更新参数，以最小化损失函数。
• 学习率：影响参数更新步长的超参数，需要谨慎选择。
• 局部最小值与全局最小值：梯度下降可能陷入局部最小值，但在实际应用中，局部最小值往往已经足够好。
• 多维参数的梯度下降：通过反向传播算法计算并更新多维参数。
• 深度学习框架：提供自动微分和优化算法，简化模型训练过程。

结语

学习机器学习之路漫漫亦慢慢，各位加油，我们山顶见