WaterJudge: Quality-Detection Trade-off when Watermarking Large Language Models

本文是LLM系列文章，针对《WaterJudge: Quality-Detection Trade-off when Watermarking Large
Language Models》的翻译。

摘要

LLM等水印生成人工智能系统因其在广泛任务中增强的能力而引起了人们的极大兴趣。尽管目前的方法已经证明，单词分布中与上下文相关的微小变化可以用于应用和检测水印，但在分析这些扰动对生成文本质量的影响方面几乎没有工作。在选择适当的水印设置方面，平衡高可检测性和最小的性能退化是至关重要的；因此，本文提出了一个简单的分析框架，其中使用比较评估，一个灵活的NLG评估框架，来评估特定水印设置引起的质量下降。我们证明，我们的框架提供了水印设置的质量检测权衡的简单可视化，使一个简单的解决方案能够找到一个提供良好平衡性能的LLM水印操作点。该方法应用于两个不同的摘要系统和一个翻译系统，实现了任务的跨模型分析和跨任务分析。