[论文笔记] LLM 大语言模型自动化超参搜索

以下是一些关于在大语言模型（LLM）中进行自动化超参数搜索的论文，特别是调节学习率（lr）和全局批量大小（gbs）等参数：

1. "Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm"

   • 这篇论文提出了HOZOG算法，通过零阶超梯度技术来估计超参数梯度，并并行加速计算以优化超参数。适用于大规模深度学习模型的超参数优化。
   • 论文链接​ (ar5iv)​

2. "Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale"

   • Hyper-Tune是一个高效的分布式自动化超参数调优框架，包含资源分配器、评估调度器和通用优化器，通过试错法和异步机制优化超参数，适用于大规模模型的调优。