24 优化算法

• 对于深度学习问题，通常会先定义损失函数，在有了损失函数之后，就可以使用优化算法来尝试最小化损失
• 在优化中，损失函数通常被称为优化问题的目标函数
• 大多数优化算法都关注的是最小化，如果需要最大化目标，只需要在目标函数前加负号就可以了

优化和深度学习

• 尽管优化提供了一种最大限度减少深度学习损失函数的方法，但本质上优化和深度学习的目标是根本不同的

  • 优化主要关注的是最小化目标
  • 深度学习关注的是在给定有限数据量的情况下寻找合适的模型

• 具体的区别例如训练误差和泛化误差

  • 优化算法的目标函数通常是基于训练数据集的损失函数，因此优化的目标是减少训练误差
  • 深度学习的目标是减少泛化误差，为了达到减小泛化误差的目的，除了使用优化算法来减少训练误差外，还需要注意过拟合

• 经验风险和风险

  • **经验风险：**训练数据集的平均损失
  • **风险：**整个数据群的预期损失
  • 练数据集的最低经验风险可能和最低风险（泛化误差）不同

• 优化问题的一般形式：