Data security.隐私保护 -【论文阅读】Privacy-Preserving Prompt Tuning for Large Language Model Services论文解读

Data security.隐私保护 -【论文阅读】Privacy-Preserving Prompt Tuning for Large Language Model Services论文解读

---

一、摘要（主要讲论文简介，阐述工作内容，创新点，效果）

提示调优为用户提供了一种有效的方法，可以在新兴的LLM服务场景中使用其自有数据定制大型语言模型（LLM）。然而，私有数据的敏感性使得在LLM服务定制中需要进行隐私保护。基于提示调优，我们提出了隐私保护提示调优（RAPT），这是一个为LLM服务提供隐私保证的框架。RAPT采用本地隐私设置，允许用户以本地差分隐私的手段在本地私有化数据。由于直接在私有化数据上进行训练时，提示调优表现不佳，我们引入了一种新的私有词元（token）重构任务，该任务与下游任务联合训练，允许LLM学习更好的依赖于任务的表示。尽管我们的框架很简单，但实验表明，RAPT在保护隐私的同时，在不同任务中实现了具有竞争力的性能。

---

1.Prompt-Tuning
以GPT-3、PET为首提出一种基于预训练语言模型的新的微调范式，旨在通过添加模板的方法来避免引入额外的参数，从而让语言模型可以在小样本（Few-shot）或零样本（Zero-shot）场景下达到理想的效果。简单的来说，Prompt-Tuning的动机旨在解决目前传统Fine-tuning的两个痛点问题：

• 降低语义差异 ：预训练任务主要以Masked Language Modeling（MLM）为主，而下游任务则重新引入新的训练参数，因此两个阶段的目标通常有较大差异。因此需要解决如何缩小Pre-training和Fine-tuning两个阶段目标差距过大的问题
• 避免过拟合 ：由于在Fine-tuning阶段需要新引入额外的参数以适配相应的任务需要，因此在样本数量有限的情况容易发生过拟合，降低了模型的泛化能力。因此需要面对预训练语言模型的过拟合问题。

Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务。 如何工作？
以二分类的情感分析作为例子，Prompt-Tuning执行如下步骤：

• 构建模板（Template Construction） ：通过人工定义、自动搜索、文本生成等方法，生成与给定句子相关的一个含有[MASK]标记的模板。例如It was [MASK].，并拼接到原始的文本中，获得Prompt-Tuning的输入：[CLS] I like the Disney films very much. [SEP] It was [MASK]. [SEP]。将其喂入BERT模型中，并复用预训练好的MLM分类器（在huggingface中为BertForMaskedLM），即可直接得到[MASK]预测的各个token的概率分布；
• 标签词映射（Label Word Verbalizer） ：因为[MASK]部分我们只对部分词感兴趣，因此需要建立一个映射关系。例如如果[MASK]预测的词是“great”，则认为是positive类，如果是“terrible”，则认为是negative类。
• 训练：根据Verbalizer，则可以获得指定label word的预测概率分布，并采用交叉信息熵进行训练。此时因为只对预训练好的MLM head进行微调，所以避免了过拟合问题

而面向超大规模模型，出现了以下几个Prompt-Tuning方法，分别为：

• 上下文学习 In-Context Learning（ICL） ：直接挑选少量的训练样本作为该任务的提示；
• 指令学习 Instruction-tuning ：构建任务指令集，促使模型根据任务指令做出反馈；
• 思维链 Chain-of-Thought（CoT） ：给予或激发模型具有推理和解释的信息，通过线性链式的模式指导模型生成合理的结果。

详情

2.掩蔽语言模型（MLM）
在屏蔽语言建模中，通常掩蔽给定句子中特定百分比的单词，模型期望基于该句子中的其他单词预测这些被掩蔽的单词。这样的训练方案使这个模型在本质上是双向的，因为掩蔽词的表示是根据出现的词来学习的，不管是左还是右。可以把它想象成一个填空式的问题陈述。具体的可以描述为：

• 替换策略：在所有语料中，随机抽取15%的文本。被选中的文本中，则有80%的文本中，随机挑选一个token并替换为 [mask]，10%的文本中则随机挑选一个token替换为其他token，10%的文本中保持不变。
• 训练目标：当模型遇见 [mask] token时，则根据学习得到的上下文语义去预测该位置可能的词，因此，训练的目标是对整个词表上的分类任务，可以使用交叉信息熵作为目标函数。

3.下游任务
几种NLP有关的下游任务：
Single-text Classification（单句分类） ：常见的单句分类任务有短文本分类、长文本分类、意图识别、情感分析、关系抽取等。给定一个文本，喂入多层Transformer模型中，获得最后一层的隐状态向量后，再输入到新添加的分类器MLP中进行分类。在Fine-tuning阶段，则通过交叉信息熵损失函数训练分类器；
Sentence-pair Classification（句子匹配/成对分类）：常见的匹配类型任务有语义推理、语义蕴含、文本匹配与检索等。给定两个文本，用于判断其是否存在匹配关系。此时将两个文本拼接后喂入模型中，训练策略则与Single-text Classification一样；
Span Text Prediction（区间预测）：常见的任务类型有抽取式阅读理解、实体抽取、抽取式摘要等。给定一个passage和query，根据query寻找passage中可靠的字序列作为预测答案。通常该类任务需要模型预测区间的起始位置，因此在Transformer头部添加两个分类器以预测两个位置。
Single-token Classification（字符分类）：此类涵盖序列标注、完形填空、拼写检测等任务。获得给定文本的隐状态向量后，喂入MLP中，获得每个token对应的预测结果，并采用交叉熵进行训练。
Text Generation（文本生成）：文本生成任务常用于生成式摘要、机器翻译、问答等。通常选择单向的预训练语言模型实现文本的自回归生成，当然也有部分研究探索非自回归的双向Transformer进行文本生成任务。BART等模型则结合单向和双向实现生成任务。
这几类任务基本可以涵盖现有的自然语言处理场景中，而这五类任务在Fine-tuning阶段几乎都涉及 在模型头部引入新参数 的情况，且都存在 小样本场景过拟合 的问题，因此Prompt-Tuning的引入非常关键。

4.本地差分隐私

本地差分隐私（LDP）是一种最先进的方法，在保护每个用户隐私的同时允许统计计算。与差分隐私（DP）不同，由于在本地向用户输入添加了噪声，因此不需要一个可信的数据中心。在本地中，每个用户在将自己的输入传输到不受信任的服务器之前对其进行编码和干扰。然后，服务器可以计算输入数据的统计查询。
对于差分隐私，它是通过严格的数学证明，使用随机应答（Randomized Response）方法确保数据集在输出信息时受单条记录的影响始终低于某个阈值，从而使第三方无法根据输出的变化判断单条记录的更改或增删，被认为是目前基于扰动的隐私保护方法中安全级别最高的方法。
那么对于一个随机化算法 A （所谓随机化算法，是指对于特定输入，该算法的输出不是固定值，而是服从某一分布），其分别作用于两个相邻数据集得到的两个输出分布难以区分。差分隐私形式化的定义为：

也就是说，如果该算法作用于任何相邻数据集，得到一个特定输出 O 的概率应差不多，那么我们就说这个算法能达到差分隐私的效果。也就是说，观察者通过观察输出结果很难察觉出数据集一点微小的变化，从而达到保护隐私的目的。
那如何才能得到差分隐私呢？最简单的方法是加噪音，也就是在输入或输出上加入随机化的噪音，以期将真实数据掩盖掉。比较常用的是加拉普拉斯噪音。由于拉普拉斯分布的数学性质正好与差分隐私的定义相契合，因此很多研究和应用都采用了此种噪音。
对于本地差分隐私，

详情

二、引言（介绍研究背景，研究意义，发展历程，提出问题）

近年来，大型语言模型（LLMs）取得了巨大的成功（Devlin等人，2018年；Brown等人，2020年）。随着llm规模的不断扩大，提示调优方法（Li和Liang，2021；Lester等人，2021）已经成为一种简单和参数有效的解决方案，可以指导llm转向下游任务，不仅实现了具有竞争力的性能，而且实现了混合任务推理（Li和Liang，2021）。.LLM的大规模也使它们为个人用户部署和运行的成本十分昂贵。因此，最近的LLM通常作为云服务发布，并且通常附带一个提示调优API，供用户定制LLM，最近的NVIDIA NeMo LLM服务就是例证。
尽管提示调优api为用户提供了定制和利用LLM服务的一种有效方式，但私有数据的敏感性在使用LLM服务时带来了对私有数据泄漏的担忧。要及时地定制和利用LLM服务，用户需要将他们的数据上传到服务提供商。然而，众所周知，输入文本甚至嵌入表示可能会向私人信息泄露给各种对手（Coavoux et al.，2018）。因此，在使用和定制LLM的同时提供隐私保护，使LLM服务可信是很重要的。
然而，在LLM服务中，隐私保护具有挑战性。首先，在LLM服务的上下文中，为私有数据提供隐私保证并不简单。关于LLM隐私保护的现有工作（Yu等人，2021a；石等人，2021；Anil等人，2021；Hoory等人，2021；李等人，2021；Shi等人，2022）专注于集中的隐私设置，它依赖于服务提供商来保护用户免受隐私泄露。对于一个诚实但又好奇的服务提供商或中间窃听者，这种设置可能并不令人满意（Lyu et al.，2020）。其次，实施隐私保护不可避免地会降低下游任务的性能，这被称为隐私-效用权衡。Yang和Liu（2022）发现，提示调优缺乏鲁棒性，因此，在提供隐私保护时，定制具有提示调优的llm很可能会遭受难以承受的性能下降。
为了解决上述挑战，我们提出了隐私保护提示调优（RAPT），这是一个定制和利用LLM服务的框架。对于隐私保护，RAPT采用了本地隐私设置（Lyu等人，2020年；Qu等人，2021年），其中用户在发布数据之前对本地数据应用隐私机制。具体来说，RAPT 使用了文本到文本的私有化，其是基于本地差分隐私的 。为了减轻在实施隐私保护时的性能下降，我们提出了一种新的私有化词元（token）重建任务，它是基于最近的研究发现，即掩蔽语言建模目标可以学习可分离的深度表示（Voita等人，2019年；Mamou等人，2020年）。私有化词元（token）重构的目标是从LLM表示中恢复私有化特殊词元（token）序列的原始内容，这是受到掩码语言建模成功的启发（Devlin et al.，2018）。与标准的提示调优不同，RAPT在下游和私有化的词元重构任务上共同进行提示的训练。通过这种方式，RAPT结合了轻量级和提示调优的模块化的好处，同时通过私有化的词元重构提供了改进的效用（即性能）。图1给出了我们的RAPT框架的概述。

三、相关工作（相关研究算法简介，分析存在的缺点）

最近关于LLM隐私保护的研究大致可以分为集中式方法和本地式方法。

1.集中式的方法

现有的大多数工作集中于集中式隐私设置，这依赖于一个中央数据管理员来保护数据免受隐私泄露。有很多工作需要研究如何训练保护隐私的LLM（Carrini等人，2021；Hoory等人，2021；李等人，2021；Yu等人，2021b），这超出了本工作的范围。Kerrigan等人（2020年）使用递向私有微调来保护用于微调公共语言模型的私有数据。Yu等人（2021a）研究了在微调阶段使用适配器和前缀调整等轻量级微调方法来保护隐私数据。我们的设置与所有的这些工作都不同。我们研究了在使用LLM服务时保护用户的私有数据，而不假设存在中央数据管理员。

2.本地式的方法

本地方法施加了更强程度的隐私保护，但代价是效用的损失（即下游任务的性能）。Lyu等人（2020）研究了使用差异私有神经表示方法在局部隐私保护下保持模型的效用。他们只在推理阶段考虑隐私保护，而不考虑微调阶段。Qu等人（2021）提出了一种隐私约束微调（PCF）方法，用于在微调和推理阶段的隐私保护。他们的方法需要在私有化的数据上微调整个模型，这对于大型语言模型来说是非常昂贵的。我们的方法也采用了本地隐私设置，并支持对微调和推理阶段的隐私保护，但它是轻量级的。 我们还引入了一种新的私有化词元重构任务，以提高在使用私有化数据进行训练和推理时的提示调优方法的性能。

四、核心内容（本文工作论文主要方法，实现细节）

在本节中，我们将详细描述RAPT。我们首先引入文本到文本的私有化，用于用户在本地私有化其数据。然后，我们描述如何使用我们的提示方法使用私有化数据定制和利用LLM服务。

1.文本到文本私有化

使用LLM服务可能会面临诸如窃听攻击之类的攻击。因此，采用本地隐私设置，即用户在其设备上在本地执行数据私有化是有利的。
由于大多数llm使用文本到文本的接口，我们在框架中使用文本到文本的私有化跟Feyisetan等人类似。文本到文本的私有化是基于$d_X$隐私（查齐科科拉基斯等人，2013年），这是一种 基于距离的本地差分隐私松弛形式 ，广泛用于保护文本内容的隐私(费伊斯坦等人，2020年；Qu等人，2021年）。形式上说，对于给定的输入集$X$ 和输出集$Y$，$d_X$是定义在$X$上的距离函数。当且仅当对于任何$x\in X$和$x^{{}^{\prime }}\in X$，$M(x)$和$M(x^{{}^{\prime }})$的输出分布以以下条件为限制时，称随机机制$M：X\to Y$满足$d_X$隐私：

其中，η≥0为隐私参数，它控制着隐私保护的程度。
为了应用文本到文本的私有化，我们首先需要一个嵌入模型来将单词映射到向量。给定一个序列x = [x1，……，xn]和一个嵌入模型$E\in R^{|V|\times d}$，其中$|V|$和$d$分别是词汇表大小和嵌入的维度，嵌入模型将$x$映射到一个向量序列[x1，……，xn]。假设使用L2距离作为距离函数，将带隐私参数η的 d X d_X d