Towards Personalized Evaluation of Large Language Models with An Anonymous Crowd-Sourcing Platform

本文是LLM系列文章，针对《Towards Personalized Evaluation of Large Language Models with
An Anonymous Crowd Sourcing Platform》的翻译。

摘要

大型语言模型评价在提高其能力方面起着至关重要的作用。以前，在这个领域已经提出了许多评估大型语言模型的方法。尽管这些现有的工作很有效，但它们主要侧重于评估客观问题，而忽略了评估主观问题的能力，这在大型语言模型中非常常见。此外，这些方法主要利用集中的数据集进行评估，问题库集中在评估平台本身。此外，这些平台采用的评估过程往往忽视了个性化因素，忽视了评估者和被评估模型的个人特征。为了解决这些局限性，我们提出了一个新的匿名众包评估平台BingJian，用于大型语言模型，该平台采用竞争性评分机制，用户根据自己的表现参与排名模型。该平台的突出之处不仅在于它支持集中评估，以评估模型的总体能力，而且还在于它提供了一个开放的评估门户。通过这个网关，用户有机会提交他们的问题，在个性化和潜在的更广泛的功能上测试模型。此外，我们的平台引入了个性化评估场景，利用各种形式的人机交互，以考虑个人用户偏好和上下文的方式评估大型语言模型。BingJian的演示可以访问https