AI生成内容检测|Fast-DetectGPT：通过条件概率曲率对机器生成文本进行有效的零样本检测

【摘要】大型语言模型 (LLM) 已显示出生成流畅且有说服力的内容的能力，这既带来了生产力机会，也带来了社会风险。要构建值得信赖的 AI 系统，必须区分机器生成的内容和人类创作的内容。领先的零样本检测器 DetectGPT 展示了值得称赞的性能，但其密集的计算成本却使其受损。在本文中，我们引入了条件概率曲率的概念，以阐明给定上下文中 LLM 和人类之间的词汇选择差异。利用此曲率作为基础指标，我们提出了 Fast-DetectGPT，这是一种优化的零样本检测器，它用更高效的采样步骤替代了 DetectGPT 的扰动步骤。我们对各种数据集、源模型和测试条件的评估表明，Fast-DetectGPT 不仅在白盒和黑盒设置中相对超过 DetectGPT 约 75%，而且将检测过程加快了 340 倍，如表 1 所示。

原文：Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature
地址：https://arxiv.org/abs/2310.05130
代码：https://github.com/baoguangsheng/fast-detect-gpt
出版：Published as a conference paper at ICLR 2024
机构: Westlake University, Shanghai Polytechnic University

更多文章解读，欢迎关注公众号“码农的科研笔记”

1 研究问题

本文研究的核心问题是: 如何高效地实现对机器生成文本的零样本检测。

假设某大型语言模型（如GPT-4）生成了一篇新闻报道，我们希望判断该报道是机器生成还是人工撰写。但问题是我们手头并没有GPT-4生成的文本样本来训练一个检测器。这时就需要一种"零样本"的检测方法，即无需使用目标模型的训练样本，而是利用某些通用的文本特征来进行判别。

本文研究问题的特点和现有方法面临的挑战主要体现在以下几个方面:

• 机器生成文本在流畅性和连贯性上已经接近甚至超越人类水平，很难从表面特征上进行区分。这对传统的基于语法、词汇等浅层特征的检测方法提出了挑战。

• 不同领域、语言、模型生成的文本具有不同的特点，很难找到一种通用的判别特征。这导致基于特定领域或模型训练的检测器很难迁移到新的场景中。

• 现有的零样本检测方法如DetectGPT虽然效果不错，但需要对每个待检测样本生成大量扰动，导致计算开销非常大。如何在保持检测精度的同时大幅降低计算成本是一个关键挑战。

针对这些挑战,本文提出了一种高效而精准的"Fast-DetectGPT"方法:

Fas