CURIOSITY-DRIVEN RED-TEAMING FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《CURIOSITY-DRIVEN RED-TEAMING FOR LARGE LANGUAGE MODELS》的翻译。

摘要

大型语言模型（LLM）在许多自然语言应用程序中具有巨大的潜力，但有可能生成不正确或有毒的内容。为了探究LLM何时生成不需要的内容，当前的范式是招募一支由测试人员组成的红色团队来设计输入提示（即测试用例），这些提示会引起LLM的不良反应。然而，仅仅依靠人工测试是昂贵且耗时的。最近的工作通过使用强化学习（RL）训练单独的红队LLM来生成测试用例，最大限度地提高从目标LLM中获得不期望的响应的机会，从而实现红队自动化。然而，当前的RL方法只能生成少量有效的测试用例，导致引发目标LLM不期望的响应的提示范围较低。为了克服这一限制，我们将增加生成的测试用例覆盖率的问题与经过充分研究的好奇心驱动的探索方法联系起来，这种探索方法可以优化新颖性。与现有方法相比，我们的安全驱动red teaming（CRT）方法实现了对测试用例的更大覆盖，同时保持或提高了它们的有效性。我们的方法，CRT成功地激发了LLaMA2模型的毒性反应，该模型已使用人类偏好进行了大量微调，以避免毒性输出。代码位于