自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 【李宏毅深度学习】探索深度学习中的批量与动量:如何优化你的训练过程?- Datawhale X 李宏毅苹果书 AI夏令营 Task1.2

批量大小和动量法是深度学习中优化训练过程的重要工具。通过合理选择批量大小和动量参数,可以在提升训练速度的同时,增强模型的泛化能力和稳定性。实验表明,小批量训练的模型在测试集上的表现往往优于大批量训练的模型,这使得在高维参数空间中,小批量成为一种强有力的优化策略。的选择,对训练过程的效率和效果有着深远的影响。本文将深入介绍这两个关键概念,以及如何利用它们提升模型的训练表现。它通过引入前一次更新的动量,帮助模型克服局部极小值和鞍点。动量法的核心在于结合当前梯度与历史梯度更新的方向,使得训练过程更加平滑和高效。

2024-08-26 20:42:23 230

原创 【李宏毅深度学习】局部极小值与鞍点 - Datawhale X 李宏毅苹果书 AI夏令营 Day1

在深度学习的优化过程中,局部极小值与鞍点是两个常见的“陷阱”,它们可能会阻碍模型的进一步优化,导致损失函数无法继续下降。深度学习的优化之路并非一帆风顺,局部极小值和鞍点是我们常遇到的挑战。了解并掌握这些概念与应对策略,将帮助你更好地训练深度学习模型,避免陷入优化的死胡同。,我们可以沿着特征值为负的方向更新参数,从而逃离鞍点,继续优化模型。这一过程相对复杂,实际中通常不会直接计算海森矩阵,而是采用其他优化策略,如。如果有正有负特征值,该临界点则为鞍点。因此,优化过程中更多时候遇到的是鞍点,而非局部极小值。

2024-08-22 22:43:24 216

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除