OpenAI开发ChatGPT“反作弊神器”,99.9%超高命中率,还没上线

173 篇文章 3 订阅
46 篇文章 0 订阅

检查内容是否用了ChatGPT,准确率高达99.9%!

OpenAI又左右互搏上了,给AI生成的文本打水印,高达99.9%准确率抓「AI枪手」作弊代写。其能够精准识别出论文或研究报告是否由ChatGPT撰写,甚至能追溯其使用的具体时间点。它能专门用来检测是否用ChatGPT水了论文/作业。

早在2022年11月(ChatGPT发布同月)就已经提出想法了。

但是!

这么好用的东西,却被内部雪藏了2年,现在都还没对外公开。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)和首席技术官米拉·穆拉蒂(Mira Murati)也参与了有关反作弊工具的讨论。一些知情人士表示,阿尔特曼对该项目表示肯定,但并未实际推动其发布。

为啥?

OpenAI对忠实用户做了调查,结果发现近三分之一的人都表示如果用了反作弊工具,他们就弃了ChatGPT。而且还可能对非英语母语的用户影响更大。

但公司内部也有人提出,使用反作弊方法对OpenAI生态有好处。双方一直争执不下,该水印检测工具因此未发布。而除了OpenAI,如谷歌、苹果也都准备了类似工具,有一些已开始内测,但都未正式上线。

f2d4a573412bccaf00fee713a6eadcae.jpeg

ChatGPT没发布前已开始讨论

ChatGPT大火后,不少高中生大学生都拿它来写作业,所以如何甄别AI生成内容也成为了圈内的热议话题。从最新曝光的信息来看,OpenAI早在ChatGPT发布前就考虑到了这一问题。当时开发这项技术的人是Scott Aaronson,他在OpenAI从事安全方面的工作,也是德克萨斯大学计算机科学教授。

7b80e416b01ff2dbd9d823fe3cf7e725.jpeg

2023年初,OpenAI公司联合创始人之一约翰·舒尔曼(John Schulman)在一份共享Google文档中概述了该工具的优势和缺点。

OpenAI高管则决定在采取进一步行动之前,先征求更多人的意见。在接下来的一年半时间里,OpenAI的管理层反复讨论这项技术,并希望通过数据分析来决定到底要不要对外发布。一份内部文件显示,OpenAI于2023年4月委托开展的一项调查指出,有四分之一的用户支持AI检测工具的推出。同月,OpenAI针对ChatGPT用户开展了一项调查,结果显示,高达69%的受访者担忧由于作弊检测技术的误判,使用AI的人可能会无端遭受“滥用AI”的指责。

此外,近30%的受访者强烈表示,如果ChatGPT决定实施水印机制,他们将选择转向那些不采用水印机制的竞争对手平台,或者至少会减少对ChatGPT的使用频率。OpenAI公司内部还一直存在担忧,即反作弊工具可能会损害ChatGPT的写作质量。但知情人士表示,OpenAI今年早些时候进行了一项测试,发现水印并不会影响ChatGPT的性能。根据内部文件,参与测试的员工总结道:“既然我们确认了水印不会降低输出质量,恐怕就很难继续反对文本水印机制的落地了。”

今年6月初,OpenAI的高层团队与研究人员再次开会,就该项目进行了深入讨论。小组内部达成了共识,认为水印技术确实展现出了良好的效果,但同时,去年ChatGPT用户调查的结果依然具有重要的参考价值。据知情人士透露,有观点提出,公司应该探索那些尚未得到验证、但有望在用户群体中引发较少争议的新方法。

6月会议纪要的核心指出:“若未能及时行动,我们的声誉将会受损,公众可能会因此质疑OpenAI的责任感。”

为啥不公开?

总结OpenAI迟迟不公开这项技术的原因,主要有两方面:一是技术,二是用户偏好。

先说技术,早在2023年1月,OpenAI就开发了一种甄别多个AI模型(包括ChatGPT)文本的技术。

这项技术利用了一种类似“水印”的方法,把看不见的标记嵌入文本中。这样,当有人用检测工具分析文本时,检测器可以提供一个分数,表示文本由ChatGPT生成的可能性有多大。

不过当时成功率只有26%,仅过了7个月,OpenAI就撤回了。后来OpenAI逐渐将技术的成功率提到了99.9%,从技术上讲,该项目大约一年前就已经可以发布。然而,围绕技术的另一个争议是,内部员工认为该技术可能会损害ChatGPT写作质量。

同时,员工们还提出了一些关于“人们可能规避水印”的潜在风险。比如大学生都会的“翻译术”,将文本翻译成另一种语言,然后通过类似谷歌翻译的方式再次翻译回来,从而有可能被擦除。再比如有人搞个“上有政策下有对策”,一旦公开使用水印工具的人多了,网友们指定分分钟搞出破解版。

除了技术,另一大阻碍因素就是用户了,OpenAI的多项调查显示,用户们似乎并不看好这项技术。这也不得不提到用户们到底拿ChatGPT在干啥?这个问题可以参考《华盛顿邮报》的一项调研,他们从数据集WildChat中查看了近200,000个英语聊天记录,这些对话由人类与两个基于ChatGPT构建的机器人生成。可以看出,人们主要用ChatGPT来写作(21%)以及帮助完成家庭作业(18%)。

f486b403a20e69321ccf1f23195501fa.jpeg

这样看来,人们反对这项检测技术好像也不难理解。

另外,OpenAI内部还有一种反对的声音是反作弊工具可能会损害ChatGPT的写作质量。知情人士称,OpenAI今年早些时候进行了一项测试,发现文本水印不会降低输出质量。

6月初,OpenAI高级员工和研究人员再次聚会讨论该项目。该组织一致认为水印技术效果良好,但去年的ChatGPT 用户调查结果仍然是一个头疼的问题。内部文件显示,OpenAI需要在今年秋天之前制定一项计划,围绕AI透明度以及相关潜在新法律来左右公众舆论——「如果做不到这一点,我们就有可能失去负责任企业的信誉。」

高性价比GPU算力:https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_wenzhang_0808_shemei

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值