chatGPT生成文本检测：综述

23年9月来自慕尼黑工大的论文“Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text“。

最近生成语言模型，如ChatGPT（OpenAI，2022），生成流畅的类人文本，其在功能和可访问性的进步，带来了各种好处，但区分人类和大语言模型（LLM）生成文本的任务已成为一个关键问题。这些模型可能会生成看起来是人类生成的文本进行欺骗。这一问题在法律、教育和科学等领域尤为重要，在这些领域，确保文本的完整性至关重要。这项综述概述了目前用于区分人类和ChatGPT生成文本的方法，介绍了为检测ChatGPT生成的文本而构建的不同数据集，使用的各种方法，对人类与ChatGPT产生文本的特征进行的各种定性分析。

不久前有一篇更宽范畴的综述论文“Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods“，arXiv 2210.07321，2022，来自渥太华大学。

如下图是该22年综述的分类方法：其中基于transformer的GPT只是一个分支，其他是非NN的和基于其他类NN的。

之前的综述除了检测方法，还强调了机器生成文本的威胁和风险：提出一系列自然语言生成的威胁模型；威胁建模反映了像攻击者一样思考的过程，通过识别潜在攻击者以及能力和目标，可识别系统的漏洞；威胁建模的目标是考虑对系统及其用户的最大威胁，提高系统的安全性。而本文更强调检测方法的研究工作，专注于chatGPT模型。

下表是ChatGPT生成文本检测中使用的数据集，具有公开性信息。“Public”栏中的“Human”表示只有人工编写的文本数据集是公开的。“OOD“栏表示数据集是否采用与主要内容不同的方式生成示例（例如，改写人类书面文本）。“*”表示将在未来开放。

如下表是文献中检测ChatGPT生成文本的方法。其中“PBC”是指基于复杂度的分类器（Perplexity-based classifier）。

生成文本的分析分成各个领域看：

医学领域：ChatGPT生成的医学文本具有较低的文本复杂度，更流畅、中性、积极、合乎逻辑，但在内容和语言风格上更为通用，而人类写的医学文本则更为多样化和具体化（Liao 2023）。

英语辩论论文：与英语学习者相比，ChatGPT产生句法更复杂的句子，但ChatGPT撰写的论文往往词汇多样性较低（Liu 2023）。
多领域问答：chatGPT有组织和中性地写作，提供较少的偏见和有害信息，并拒绝回答自认为不知道的问题。ChatGPT的答案比人类的答案更为客观、更不情绪化（Guo 2023）。

科学摘要：ChatGPT有更好的词汇选择，可以生成更多独特的单词，使用更多连接词，语法错误更少（Yu 2023）。
语言不可知特征：ChatGPT生成文本的语言和句法特征往往是语言不可知的。用不同语言生成的文本，如英语、法语和汉语，都显示出类似的特征，其中ChatGPT倾向于生成说教性和无人情味的文本，也不会出错。这种错误可能表明是人类写的文本，如语法、拼写或标点符号错误（Antoun2023a；Guo2023）。

作者有一些领悟点：

可解释AI扮演的作用：SHAP等可解释技术有助于检测模型。这些技术可以深入了解有助于分类的最重要特征和单词，从而更好地了解人类和ChatGPT的写作风格。这在调试检测器时也很有价值，因为它们可以突出导致错误分类的主要单词，从而能够更好地分析此类模型
在检测任务中人类与ChatGPT对比：与ChatGPT本身相比，人类在检测ChatGPT生成的文本方面更差。通过额外的训练，人类会取得更好的结果。

检测器的鲁棒性：当检测器在数据集上进行训练时，检测器的鲁棒性会提高，这些数据集被扩展到扰动数据，如同源字形（homoglyphs）和拼写错误。这可能有助于检测器更多地关注书写风格，而不是书写错误。当对数据域外（OOD）文本进行评估时，检测器的性能往往会降低，尤其是对抗性文本。

文本长度对检测的影响：文本长度越短，检测就越具有挑战性，可靠性越低。在包含全文和问答子集（包括回答上下文）上训练的模型，对句子或者较小问答子集等短文本进行评估时表现不佳。

ChatGPT生成的文本中缺乏特殊提示：调查论文中的一些结论和分析是考虑ChatGPT采取最通用的风格和状态生成的文本，即没有要求ChatGPT假装为某个作家或以特殊风格写作这种特殊提示。这可能是未来工作中一个有趣的研究领域，其中要构建新数据集，并测试检测器对这类文本的鲁棒性。

基于复杂度的检测器：基于复杂度的检测器依赖于GPT-2和BioGPT等开源LLM来计算复杂分数。当ChatGPT生成目标文本时，使用ChatGPT计算这些分数可以在这项任务中受益，就像其他模型看到的一样。然而对于一个封闭的源代码模型，这是不可能的。

构建生成数据集的成本：构建和利用大规模的ChatGPT生成数据集，对于得出更泛化和更精确的结论来说很重要。因此，使用ChatGPT的API是必不可少的。然而，这样做的成本可能令人望而却步。

多种语言：样本以英语为主，其他语言的表现较差。正如在NLP中一样（Artetxe2020），要在这一领域开展更多工作。这可能有助于解释为什么当文本被翻译成不同的语言时，一些检测器不太可靠。