SPOTTING LLMS WITH BINOCULARS: ZERO-SHOT DETECTION OF MACHINE-GENERATED TEXT

本文是LLM系列文章，针对《SPOTTING LLMS WITH BINOCULARS: ZERO-SHOT DETECTION OF MACHINE-GENERATED TEXT》的翻译。

摘要

检测现代大型语言模型生成的文本被认为是困难的，因为LLM和人类都可能表现出广泛的复杂行为。然而，我们发现，基于对比两个密切相关的语言模型的评分在区分人工生成的文本和机器生成的文本方面是非常准确的。基于这种机制，我们提出了一种新的LLM检测器，该检测器只需要使用一对预训练的LLM进行简单计算。这种被称为Binoculars的方法在没有任何训练数据的情况下实现了最先进的精度。它能够从一系列现代LLM中发现机器文本，而无需任何特定型号的修改。我们对多个文本源和不同情况下的Binoculars进行了全面评估。在广泛的文档类型中，Binoculars检测到来自ChatGPT（和其他LLM）的90%以上的生成样本，假阳性率为0.01%，尽管没有根据任何ChatGPT数据进行训练。

1 引言

2 LLM检测的历程

3 Binoculars：如何工作的

4 准确的零样本检测

5 可靠性