Is the System Message Really Important to Jailbreaks in Large Language Models?

本文是LLM系列文章，针对《Is the System Message Really Important to Jailbreaks in Large Language Models?》的翻译。

摘要

大型语言模型（LLM）的快速发展使其在现代社会中不可或缺。虽然在释放前通常会采取安全措施，使LLM与人类价值观保持一致，但最近的研究揭示了一种令人担忧的现象，称为“越狱”该术语指的是LLM在收到恶意问题提示时产生的意外且潜在有害的响应。现有的研究侧重于生成越狱提示，但我们的研究旨在回答一个不同的问题：系统信息对LLM中的越狱真的很重要吗？为了解决这个问题，我们在稳定的GPT版本GPT-3.5-turbo0613中进行了实验，以生成具有不同系统消息的越狱提示：短、长和无。实验发现，不同的系统消息对越狱有不同的抵抗力。此外，我们还探讨了LLM之间越狱的可转移性。这一发现强调了系统消息对减轻LLM越狱的重大影响。为了生成更能抵抗越狱提示的系统消息，我们提出了系统消息进化算法（SMEA）。通过SMEA，我们可以获得强大的系统消息群体，对越狱提示的抵抗力高达98.9%。我们的研究不仅加强了LLM的安全性，还提高了越狱的标准，促进了这一研究领域的进步。

1 引言

2 背景知识