OpenAI开发了一款工具,可以潜在地抓住那些通过要求ChatGPT写作业来作弊的学生——但据《华尔街日报》报道,该公司正在讨论是否真的要发布这款工具。
在提供的一份声明中,OpenAI的一位发言人确认公司正在研究《华尔街日报》故事中提到的文本水印方法,但表示由于“所涉及的复杂性及其对OpenAI之外的更广泛生态系统可能产生的影响”,公司正在采取“审慎的态度”。
“我们正在开发的文本水印方法在技术上有前景,但在研究替代方案时,我们正在权衡一些重要的风险,包括被不良行为者规避的可能性以及对非英语使用者等群体的潜在不利影响,”这位发言人说。
这将与之前大多数检测AI生成文本的努力有所不同,这些努力在很大程度上是无效的。甚至OpenAI自己去年也关闭了其之前的AI文本检测器,原因是其“准确率低”。
通过文本水印,OpenAI将专注于检测ChatGPT的写作,而不是其他公司的模型。它会通过对ChatGPT选择词语的方式进行微小的调整,实质上是在写作中创建一个隐形的水印,随后可以通过一个单独的工具进行检测。
在《华尔街日报》的报道发表后,OpenAI还更新了五月发布的一篇关于检测AI生成内容的研究博客文章。更新中称,文本水印已被证明“高度准确,甚至对局部篡改(如改写)也有效”,但对“全球篡改(如使用翻译系统、使用另一生成模型重新措辞,或要求模型在每个单词之间插入一个特殊字符然后删除该字符)则不够稳健。”
因此,OpenAI写道,这种方法“容易被不良行为者规避。”OpenAI的更新还呼应了发言人关于非英语使用者的观点,写道文本水印可能会“污名化AI作为非母语英语使用者有用的写作工具的使用。”