超级会员免费看
Chatbot Arena是一个基于人类偏好评估大型语言模型（LLMs）的开放平台，采用成对比较方法并通过众包收集数据。已积累24万张选票，平台采用高效统计方法进行评估和排序，确保数据多样性和一致性。该平台成为LLM评估的重要参考，被广泛引用。
本文是LLM系列文章，针对《Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference》的翻译。
Chatbot Arena：一个基于人类偏好评估LLM的开放平台
摘要
大型语言模型（LLM）解锁了新的功能和应用程序；然而，评估与人类偏好的一致性仍然带来重大挑战。为了解决这个问题，我们介绍了Chatbot Arena，这是一个基于人类偏好评估LLM的开放平台。我们的方法采用了成对比较的方法，并通过众包利用来自不同用户群的输入。该平台已经运行了几个月，累积了超过24万张选票。本文描述了该平台，分析了我们迄今为止收集的数据，并解释了我们正在使用的行之有效的统计方法，以高效准确地评估和排序模型。我们确认，众包问题具有足够的多样性和歧视性，众包人工投票与专家评分者的投票非常一致。这些分析共同为Chatbot Arena的可信度奠定了坚实的基础。由于其独特的价值和开放性，Chatbot Arena已成为最受引用的LLM排行榜之一，被领先的LLM开发者和公司广泛引用。我们的演示在https://chat.lmsys.org可用。
订阅专栏 解锁全文
扫一扫
1275
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
