研究发现：大多数AI文本检测器远没有宣传的那么可靠

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

从对“深入探讨”的可疑癖好，到立场摇摆不定的意见，有些明显的迹象可能会让读者觉得一篇文章是AI生成的。然而，要完全准确地辨别AI文本生成，目前对开发者来说仍是个棘手的问题。

许多AI文本检测系统可以被简单的技巧轻松打败，比如在文本中加入一个不寻常的符号。它们可能在某些类型的内容上表现出色，比如学生论文，但在其他类型的内容上却表现不佳，比如新闻文章。而那些可以稳定识别AI生成内容的检测器，也有可能会把人类创作的作品误认为是机器所为。

宾夕法尼亚大学的研究人员的一项研究揭示了这些发现，并对目前市场上AI文本检测器的一些广告宣传提出了质疑。研究作者提出了一种新的评估方法，旨在通过一个包含1000万篇文章的标准化基准数据集来量化这些工具的有效性。这个数据集涵盖了新闻文章、博客、食谱等内容，并提供了一个公开的排行榜来对检测器进行排名。

“我们希望为AI检测器的评估贡献一个系统化的方法，这样当有人声称他们的创新比现有技术更好时，我们就能验证它确实如此，” 宾夕法尼亚大学计算机与信息科学教授兼研究作者Chris Callison-Burch在接受Tech Brew采访时表示。

自2019年OpenAI发布GPT-2以来，尤其是在ChatGPT风靡全球的这两年，专家们对由大型语言模型（LLM）生成的海量文本带来的风险越来越担忧。这些担忧也逐渐成为现实，从教师对AI生成的论文束手无策，到学术研究被垃圾信息淹没，再到骗子利用AI进行大规模诈骗。

然而，若没有准确的检测工具，人们甚至难以了解问题的全貌。OpenAI去年放弃了早期尝试的AI文本分类器，理由是“准确率低”。各种尝试为AI生成的文本加上水印的做法也未见成效。

Callison-Burch指出，尽管许多初创公司声称其检测器的准确率高达99%，但实际上，这个问题比看上去复杂得多。

研究团队列举了许多绕过检测器的方法，包括用相似形状的同形异义字替换某些字符，或者用英式拼写替换某些单词。他们还发现，检测器通常在它们训练过的文本类型上表现最好，比如，训练于ChatGPT的检测器可能难以处理Anthropic的Claude生成的文本，而训练于新闻文章的工具可能在识别食谱时表现不佳。

Callison-Burch提到，至少有一家初创公司已经在其检测器中加入了防护措施，尽管如此，他对排行榜上一些检测器的表现感到鼓舞。

他总结道：“这有点像猫捉老鼠的游戏，或者说是一场军备竞赛。随着LLM越来越强大，它们变得越来越难以被检测到。但对检测的需求比以往任何时候都更加明显。”