m0_61719739的博客

原创 论文阅读《AUTODAN: GENERATING STEALTHY JAILBREAKPROMPTS ON ALIGNED LARGE LANGUAGE MODELS》

应用遗传算法等优化算法。这是因为 jailbreak Prompt中的单词与损失函数中的梯度信息没有直接相关性，这使得在连续空间中使用类似反向传播的对抗性示例或利用梯度信息来指导生成具有挑战性。LLM 用户识别的现有Prompt可以有效地用作初始化遗传算法种群的原型，大大减少了搜索空间。这使得遗传算法在有限迭代期间在离散空间中找到合适的破损提示是可行的。目标是引导LLM进行肯定回答。Jailbreak的攻击目标是提示LLM生成从特定单词开始的输出（比如Sure，这里是如何[Q]）,目标是最大化概率遗传算法