23年9月来自慕尼黑工大的论文“Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text“。
最近生成语言模型,如ChatGPT(OpenAI,2022),生成流畅的类人文本,其在功能和可访问性的进步,带来了各种好处,但区分人类和大语言模型(LLM)生成文本的任务已成为一个关键问题。这些模型可能会生成看起来是人类生成的文本进行欺骗。这一问题在法律、教育和科学等领域尤为重要,在这些领域,确保文本的完整性至关重要。这项综述概述了目前用于区分人类和ChatGPT生成文本的方法,介绍了为检测ChatGPT生成的文本而构建的不同数据集,使用的各种方法,对人类与ChatGPT产生文本的特征进行的各种定性分析。
不久前有一篇更宽范畴的综述论文“Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods“,arXiv 2210.07321,2022,来自渥太华大学。
如下图是该22年综述的分类方法:其中基于transformer的GPT只是一个分支,其他是非NN的和基于其他类NN的。
之前的综述除了检测方法,还强调了机器生成文本的威胁和风险:提出一系列自然语言生成的威胁模型;威胁建模反映了像攻击者一样思考的过程,通过识别潜在攻击者以及能力和目标,可识别系统的漏洞;威胁建模的目标是考虑对系统及其用户的最大威胁,提高系统的安全性。而本文更强调检测方法的研究工作,专注于chatGPT模型。
下表是ChatGPT生成文本检测中使用的数据集,具有公开性信息。“Public”栏中的“Human”表示只有人工编写的文本数据集是公开的。“OOD“栏表示数据集是否采用与主要内容不同的方式生成示例(例如,改写人类书面文本)。“*”表示将在未来开放。
如下表是文献中检测ChatGPT生成文本的方法。其中“PBC”是指基于复杂度的分类器(Perplexity-based classifier)。
生成文本的分析分成各个领域看:
医学领域:ChatGPT生成的医学文本具有较低的文本复杂度,更流畅、中性、积极、合乎逻辑,但在内容和语言风格上更为通用,而人类写的医学文本则更为多样化和具体化(Liao 2023)。
英语辩论论文:与英语学习者相比,ChatGPT产生句法更复杂的句子,但ChatGPT撰写的论文往往词汇多样性较低(Liu 2023)。
多领域问答:chatGPT有组织和中性地写作,提供较少的偏见和有害信息,并拒绝回答自认为不知道的问题。ChatGPT的答案比人类的答案更为客观、更不情绪化(Guo 2023)。
科学摘要:ChatGPT有更好的词汇选择,可以生成更多独特的单词,使用更多连接词,语法错误更少(Yu 2023)。
语言不可知特征:ChatGPT生成文本的语言和句法特征往往是语言不可知的。用不同语言生成的文本,如英语、法语和汉语,都显示出类似的特征,其中ChatGPT倾向于生成说教性和无人情味的文本,也不会出错。这种错误可能表明是人类写的文本,如语法、拼写或标点符号错误(Antoun2023a;Guo2023)。
作者有一些领悟点:
可解释AI扮演的作用:SHAP等可解释技术有助于检测模型。这些技术可以深入了解有助于分类的最重要特征和单词,从而更好地了解人类和ChatGPT的写作风格。这在调试检测器时也很有价值,因为它们可以突出导致错误分类的主要单词,从而能够更好地分析此类模型
在检测任务中人类与ChatGPT对比:与ChatGPT本身相比,人类在检测ChatGPT生成的文本方面更差。通过额外的训练,人类会取得更好的结果。
检测器的鲁棒性:当检测器在数据集上进行训练时,检测器的鲁棒性会提高,这些数据集被扩展到扰动数据,如同源字形(homoglyphs)和拼写错误。这可能有助于检测器更多地关注书写风格,而不是书写错误。当对数据域外(OOD)文本进行评估时,检测器的性能往往会降低,尤其是对抗性文本。
文本长度对检测的影响:文本长度越短,检测就越具有挑战性,可靠性越低。在包含全文和问答子集(包括回答上下文)上训练的模型,对句子或者较小问答子集等短文本进行评估时表现不佳。
ChatGPT生成的文本中缺乏特殊提示:调查论文中的一些结论和分析是考虑ChatGPT采取最通用的风格和状态生成的文本,即没有要求ChatGPT假装为某个作家或以特殊风格写作这种特殊提示。这可能是未来工作中一个有趣的研究领域,其中要构建新数据集,并测试检测器对这类文本的鲁棒性。
基于复杂度的检测器:基于复杂度的检测器依赖于GPT-2和BioGPT等开源LLM来计算复杂分数。当ChatGPT生成目标文本时,使用ChatGPT计算这些分数可以在这项任务中受益,就像其他模型看到的一样。然而对于一个封闭的源代码模型,这是不可能的。
构建生成数据集的成本:构建和利用大规模的ChatGPT生成数据集,对于得出更泛化和更精确的结论来说很重要。因此,使用ChatGPT的API是必不可少的。然而,这样做的成本可能令人望而却步。
多种语言:样本以英语为主,其他语言的表现较差。正如在NLP中一样(Artetxe2020),要在这一领域开展更多工作。这可能有助于解释为什么当文本被翻译成不同的语言时,一些检测器不太可靠。