Advancing the Robustness of Large Language Models through Self-Denoised Smoothing

本文是LLM系列文章，针对《Advancing the Robustness of Large Language Models through Self-Denoised Smoothing》的翻译。

摘要

尽管大型语言模型（LLM）取得了重大成功，但它们容易受到对抗性干扰，包括最近的越狱攻击，这引起了人们的极大关注。然而，这些模型的规模越来越大，而且它们的访问权限有限，这使得提高它们的鲁棒性成为一项具有挑战性的任务。在各种防御策略中，随机平滑显示了LLM的巨大潜力，因为它不需要完全访问模型的参数或通过对抗训练进行微调。然而，随机平滑涉及在模型预测之前向输入添加噪声，最终模型的鲁棒性在很大程度上取决于模型在这些噪声污染数据上的性能。其有效性往往受到模型在噪声数据上的次优性能的限制。为了解决这个问题，我们建议利用LLM的多任务特性，首先对噪声输入进行去噪，然后根据这些去噪版本进行预测。我们称此过程为自降噪平滑。与计算机视觉中以前的去噪平滑技术不同，这些技术需要训练一个单独的模型来增强LLM的鲁棒性，我们的方法提供了明显更好的效率和灵活性。我们的实验结果表明，我们的方法在防御下游任务和人类联盟的对抗性攻击（即越狱攻击）方面，在经验和认证的鲁棒性方面都优于现有方法。我们的代码可在以下网址公开获取