CURIOSITY-DRIVEN RED-TEAMING FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《CURIOSITY-DRIVEN RED-TEAMING FOR LARGE LANGUAGE MODELS》的翻译。

摘要

大型语言模型（LLM）在许多自然语言应用程序中具有巨大的潜力，但有可能生成不正确或有毒的内容。为了探究LLM何时生成不需要的内容，当前的范式是招募一支由测试人员组成的红色团队来设计输入提示（即测试用例），这些提示会引起LLM的不良反应。然而，仅仅依靠人工测试是昂贵且耗时的。最近的工作通过使用强化学习（RL）训练单独的红队LLM来生成测试用例，最大限度地提高从目标LLM中获得不期望的响应的机会，从而实现红队自动化。然而，当前的RL方法只能生成少量有效的测试用例，导致引发目标LLM不期望的响应的提示范围较低。为了克服这一限制，我们将增加生成的测试用例覆盖率的问