Large Language Model Agent for Hyper-Parameter Optimization

本文是LLM系列文章，针对《Large Language Model Agent for Hyper-Parameter Optimization》的翻译。

摘要

超参数优化在现代机器学习中至关重要，需要专家知识、大量试验以及高计算和人力资源。尽管自动机器学习（AutoML）取得了进步，但在试验效率、设置复杂性和互操作性方面的挑战仍然存在。为了解决这些问题，我们引入了一种新的范式，利用大型语言模型（LLM）在不同的机器学习任务中自动进行超参数优化，称为AgentHPO（LLM-Agent based hyperparameter optimization的缩写）。具体而言，AgentHPO自主处理任务信息，用特定的超参数（HP）进行实验，并基于历史试验对其进行迭代优化。与传统的AutoML方法相比，这种类似人类的优化过程大大减少了所需的试验次数，简化了设置过程，并增强了可解释性和用户信任。在12个具有代表性的机器学习任务上进行的大量实证实验表明，AgentHPO不仅在性能方面与最佳人体试验相匹配，而且往往超过最佳人体试验，同时提供了可解释的结果。进一步的分析揭示了LLM在优化这些任务时所采用的策略，突出了其在各种场景中的有效性和适应性。

1 引言