WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models

本文是LLM系列文章，针对《WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models》的翻译。

摘要

为了减少对大型语言模型（LLM）的潜在滥用，最近的研究开发了水印算法，该算法限制了生成过程，为水印检测留下不可见的痕迹。由于任务的两阶段性质，大多数研究分别评估生成和检测，从而对公正、彻底和适用的评估提出了挑战。在本文中，我们介绍了第一个LLM水印的综合基准WaterBench，其中我们设计了三个关键因素：（1）对于基准程序，为了确保苹果对苹果的比较，我们首先调整每种水印方法的超参数以达到相同的水印强度，然后联合评估它们的生成和检测性能。（2） 对于任务选择，我们将输入和输出长度多样化，形成一个五类分类法，涵盖9个任务。（3） 对于评估指标，我们采用GPT4 Judge来自动评估水印后指令跟随能力的下降。我们在2种水印强度下对2种LLM上的4种开源水印进行了评估，并观察了当前方法在保持生成质量方面的常见困难。代码和数据在https://github.com/thu-keg/waterbench可用.