本文是LLM系列文章,针对《Rethinking Generative Large Language Model Evaluation for
Semantic Comprehension》的翻译。
语义理解生成大语言模型评价的再思考
摘要
尽管大型语言模型(LLM)具有复杂的功能,但在有效评估中遇到了一个主要障碍。本文首先回顾了流行的评估方法——多选问题回答(MCQA),它允许直接测量准确性。通过对11个基准的24个模型进行全面评估,我们强调了MCQA的几个潜在缺点,例如,MCQA评估与实际场景中生成开放式响应之间的不一致。作为回应,我们引入了RWQ Elo评级系统,以两人竞争的形式吸引了24名LLM,如GPT-4、GPT-3.5、Google Gemini Pro和LLaMA-1/-2,由GPT-4担任评委。此后,每个LLM都会获得Elo评级。该系统旨在反映真实世界的使用情况,为此,我们编制了一个名为“真实世界问题”(RWQ)的新基准,包括20772个真实用户查询。此外,我们还深入分析了我们系统的特点,并将其与AlpacaEval和MT Bench等之前的排行榜进行了比较。我们的分析揭示了RWQ Elo系统的稳定性、注册新模型的可行性及其重塑LLM排行榜的潜力。