qq_41879372的博客

翻译 聊天机器人竞技场排行榜第8周介绍MT-Bench和Vicuna-33B

本文介绍聊天机器人竞技场排行榜的更新,新增开源模型和三项评估指标:聊天机器人竞技场Elo、MT-Bench和MMLU。推出一系列Vicuna-v1.3模型。提出多轮对话基准测试MT-Bench,包含80个高质量问题,评估模型会话流程和遵循指令能力。与基于用户投票的对战平台聊天机器人竞技场配合使用。两者主要评估指标为人类偏好。探讨利用GPT-4等LLM作为评委的可靠性。显示谨慎使用下,LLM评委可以作为人类偏好的可扩展和可解释近似。基于GPT-4的MT-Bench单回答评分也能有效匹配人类偏好。