本文是LLM系列文章,针对《Differentially Private Next-Token Prediction of Large Language Models》的翻译。
摘要
确保大型语言模型(LLM)的隐私变得越来越重要。实现这一点最广泛采用的技术是DP-SGD,它训练一个模型来保证差分隐私(DP)。然而,DP-SGD高估了对手对模型进行白盒访问的能力,因此导致比SGD更长的训练时间和更大的内存使用量。另一方面,商业LLM部署主要基于云;因此,对LLM的对抗性访问是黑匣子。受这些观察结果的启发,我们提出了集合分布的私有混合(PMixED):一种用于下一个token预测的私有预测协议,利用下一个采样的固有随机性和公共模型来实现差分隐私。我们通过引入RD Mollier来形式化这一点,RD Molliers将模型的每个输出分布从一组微调LLM投影到公共LLM输出分布周围的集合上,然后对投影的分布进行平均并从中采样。与DP-SGD不同,DP-SGD在训练过程中需要考虑模型架构,PMixED是模型不可知的,这使得PMixED成为当前部署的一个非常有吸引力的解决方案。我们的结果表明,PMixED实现了比样本级隐私更强的隐私保证,并且在大规模数据集上的隐私度ε=8优于DP-SGD。因此,PMixED为DP训练方法提供了一种实用的替代方法,以在不损害隐私的情况下实现强大的生成效用。