深度学习调参手册
文章平均质量分 94
RicardoOzZ
量化投资领域的羔羊
展开
-
深度学习调参手册(四):如何评估模型性能
可以用比训练更大的批次规模运行评估。以定期的步骤间隔,而不是定期的时间间隔来运行评估。原创 2023-09-20 15:47:11 · 286 阅读 · 0 评论 -
深度学习调参手册(三):优化训练时间
训练时间与两种类型的工作负载有关:一种是与计算有关的(如训练的epoch轮数、样本集的大小、学习率的设置等),另一种是与计算无关的(如GPU等计算资源可使用的时间、研究员工作时间等)原创 2023-09-15 17:28:17 · 403 阅读 · 0 评论 -
深度学习调参手册(二):如何科学地设计深度学习实验
指标超参数是指用于评估参数对模型效果的参数调整超参数是值那些需要优化的参数,以便公平地比较指标超参数的不同值。这与统计学中的调整参数概念类似。固定超参数在本轮实验中不变。这些超参数的值在比较指标超参数时不需要(或我们不希望它们)改变。通过为一组实验固定某些超参数,我们必须接受从实验中得出的结论可能对固定超参数的其他设置无效。换句话说,固定的超参数为我们从实验中得出的任何结论创造了限制条件。例如,如果我们的目标是 “确定具有更多隐藏层的模型是否会减少验证误差”,那么隐藏层的数量就是一个指标超参数。原创 2023-09-12 16:33:10 · 240 阅读 · 0 评论 -
深度学习调参手册(一):项目初始化与batchsize
深度学习的调参,是一个说重要也不重要,说不重要却又很重要的事。在深度学习相关教科书中,大多倾向于回避实验指导,着重讲解理论、概念等基本原则;在公开发表的深度学习论文实验中,大多跳过了实验繁杂的调参过程,仅呈现出一个干净的结果;而业界的深度学习工程师也很少有时间或意愿,向外界讲述他们的调参过程。对于大多数初入深度学习领域的同学可能需要花费大量的时间重复在毫无理论依据的调参过程中。即使使用了与领域内专家表面上类似的模型或方法,但取得的结果间却可能也存在着巨大的差距。原创 2023-09-12 15:23:39 · 221 阅读 · 0 评论