本文是LLM系列文章,针对《Towards Personalized Evaluation of Large Language Models with
An Anonymous Crowd Sourcing Platform》的翻译。
基于匿名众包平台的大型语言模型个性化评价
摘要
大型语言模型评价在提高其能力方面起着至关重要的作用。以前,在这个领域已经提出了许多评估大型语言模型的方法。尽管这些现有的工作很有效,但它们主要侧重于评估客观问题,而忽略了评估主观问题的能力,这在大型语言模型中非常常见。此外,这些方法主要利用集中的数据集进行评估,问题库集中在评估平台本身。此外,这些平台采用的评估过程往往忽视了个性化因素,忽视了评估者和被评估模型的个人特征。为了解决这些局限性,我们提出了一个新的匿名众包评估平台BingJian,用于大型语言模型,该平台采用竞争性评分机制,用户根据自己的表现参与排名模型。该平台的突出之处不仅在于它支持集中评估,以评估模型的总体能力,而且还在于它提供了一个开放的评估门户。通过这个网关,用户有机会提交他们的问题,在个性化和潜在的更广泛的功能上测试模型。此外,我们的平台引入了个性化评估场景,利用各种形式的人机交互,以考虑个人用户偏好和上下文的方式评估大型语言模型。BingJian的演示可以访问https