[论文笔记] Cost-Effective Hyperparameter Optimization for Large Language Model Generation 大型语言模型生成推理超参优化

成本效益高的大型语言模型生成推理的超参数优化

https://openreview.net/pdf?id=DoGmh8A39O

Chi Wang1, Susan Xueqing Liu2, Ahmed H. Awadallah1

1微软研究院，雷德蒙德
2史蒂文斯理工学院

摘要

        大型语言模型（LLMs）因其生成能力引发了广泛关注，催生了各种商业应用。使用这些模型的高成本驱使应用构建者在有限的推理预算下最大化生成的价值。本文研究了优化推理超参数的方法，如响应数量、温度和最大tokens，这些参数显著影响了文本生成的效用/成本。我们设计了一个名为EcoOptiGen的框架，该框架利用经济型超参数优化和基于成本的剪枝策略。我们在GPT-3.5/GPT-4模型上进行的各种任务实验验证了其有效性。EcoOptiGen已在FLAML库的“autogen”包中实现：https://aka.ms/autogen。

1 引言

        大型语言模型（LLMs）&#x