以十六进制格式编码的恶意指令可能被用来绕过旨在防止滥用的 ChatGPT 保护措施。
周一,Mozilla 的 gen-AI 漏洞赏金计划经理 Marco Figueroa 通过 0Din 漏洞赏金计划披露了新的越狱情况。
0Din 由 Mozilla 于 2024 年 6 月推出,代表 0Day Investigative Network,是一项专注于大型语言模型 (LLM) 和其他深度学习技术的漏洞赏金计划。
0Din 涵盖及时注入、拒绝服务、训练数据中毒和其他类型的安全问题,为研究人员提供高达 15000 美元的关键问题发现赏金。目前尚不清楚像这样的越狱值多少钱。
ChatGPT 等 AI 聊天机器人经过训练,通常不会提供可能仇恨或有害的信息。然而,研究人员一直在寻找各种方法,通过使用即时注入来绕过这些护栏,它依赖于各种技术来欺骗聊天机器人。
Figueroa 周一在 0Din 网站上发布的一篇博客文章中详细介绍了越狱事件,目标是 ChatGPT-4o,涉及以十六进制格式编码恶意指令。
该方法通过让 ChatGPT 为具有指定 CVE 标识符的漏洞生成用 Python 编写的漏洞来演示。
如果用户指示聊天机器人为