Ghostbuster：一个准确度高的AI生成文本检测工具

大语言模型如ChatGPT，以其卓越的写作能力引发了问题。学生们纷纷利用这些模型代写作业，导致一些学校不得不采取禁止ChatGPT的措施。此外，这些模型还存在生成带有事实错误的文本的倾向，因此谨慎的读者可能想知道，在信任某些新闻文章或其他来源之前，是否有生成式AI工具用于代写。

针对这一问题，研究人员提出了Ghostbuster这一先进的AI生成文本检测方法。该方法通过评估文档中每个标记在多个较弱的语言模型下生成的概率，然后将这些概率的函数作为最终分类器的输入进行组合。Ghostbuster无需知道生成文档所使用的具体模型，也无需知道在该特定模型下生成文档的概率。这使得Ghostbuster特别适用于检测由未知模型或黑盒模型生成的文本，例如流行的商业模型ChatGPT和Claude，其概率不可用。研究人员着重确保Ghostbuster具有良好的泛化性能，因此他们在不同领域（使用新收集的散文、新闻和故事数据集）、语言模型或提示下进行了评估。

为什么选择这种方法呢?

当前许多AI生成文本检测系统对于分类不同类型的文本（例如不同的写作风格、或不同的文本生成模型或提示）往往表现脆弱。简单使用困惑度(perplexity)的模型通常无法捕捉更复杂的特征，在新的写作领域表现尤为糟糕。与此相反，基于大型语言模型(如RoBERTa)的分类器虽然能轻松捕捉复杂特征，但容易对训练数据过拟合且泛化性能差。Ghostbuster的方法在这两者之间取得了平衡，既能够捕捉复杂特征，又不容易过拟合。