隐私保护与大型语言模型，PrivacyRestore技术详解

最新推荐文章于 2024-09-11 15:58:30 发布

程序员笑武

最新推荐文章于 2024-09-11 15:58:30 发布

阅读量1k

点赞数 15

文章标签：语言模型网络服务器人工智能安全 java 数据库

本文链接：https://blog.csdn.net/m0_59164304/article/details/140218531

版权

1. 引言

大型语言模型（LLMs）在各个领域中展现了强大的能力，包括医疗、法律和金融等。然而，随着LLMs在线推理服务的广泛使用，用户输入中可能包含的私人信息面临被窃取或被不可信服务提供商滥用的风险。这些风险尤其在包含敏感信息的领域如医疗诊断中尤为突出。例如，如果用户输入包含个人健康信息，如“我被诊断出患有HIV，最近出现发热和腹泻”，这种信息的泄露可能对个人生活造成严重影响。

现有的隐私保护方法主要分为差分隐私（DP）和安全多方计算（SMPC）。虽然这些方法能够在一定程度上保护隐私，但它们也存在不足，如性能下降或推理时间过长。为了在保护隐私的同时保持高效的推理性能，我们提出了PrivacyRestore方法。该方法通过移除用户输入中的隐私片段，并在推理过程中通过激活引导技术恢复隐私信息，提供了一种新颖且有效的隐私保护解决方案。

2. 背景与相关工作

2.1 LLMs在隐私保护中的挑战

大型语言模型的推理服务通常在云端进行，用户输入的数据需要传输到服务器进行处理。这一过程中，数据可能会被截获或滥用，导致隐私泄露。传统的隐私保护方法，如差分隐私和安全多方计算，虽然能够提供一定的隐私保护，但在实际应用中仍存在许多挑战。

2.2 差分隐私（Differential Privacy）

差分隐私是一种通过在数据中添加噪声来保护隐私的方法。它可以分为集中式差分隐私（CDP）和本地差分隐私（LDP）。CDP假设一个可信的数据管理员收集和保护原始数据，而LDP假设只有客户端是可信的，数据在发布前进行本地化处理。虽然差分隐私能够有效保护数据隐私，但它也不可避免地会导致性能下降。

2.3 安全多方计算（Secure Multi-Party Computation, SMPC）

安全多方计算利用加密协议，使多个参与方能够在不泄露各自数据的情况下进行协同计算。虽然SMPC能够在保护隐私的同时进行计算，但其推理时间开销较大，不适用于实时应用。

2.4 激活引导（Activation Steering）技术

激活引导是一种在推理过程中通过调整模型激活来实现特定目标的技术。它通过构建或搜索向量，在推理过程中干预模型的激活，从而生成所需的输出。现有的激活引导方法已经在控制文本生成的主题和情感风格方面取得了一定的成功。

2.5 相关研究综述

现有的隐私保护方法在不同应用场景中各有优缺点。差分隐私方法虽然能够提供形式化的隐私保证，但在实际应用中性能会有所下降；而安全多方计算方法则由于其计算开销较大，难以在实时推理中应用。激活引导技术虽然能够控制模型的输出，但在隐私保护领域的应用仍然有限。因此，开发一种既能有效保护隐私，又能保持高效推理性能的方法是非常必要的。

3. PrivacyRestore方法概述

PrivacyRestore的核心思想是通过移除用户输入中的隐私片段，并在模型推理过程中通过激活引导技术恢复隐私信息。具体来说，PrivacyRestore框架包括以下几个步骤，

隐私片段的定义与识别，确定输入文本中需要保护的隐私信息，并将其移除。
激活引导的基本原理，使用恢复向量在推理过程中进行激活引导，恢复被移除的隐私信息。
注意力感知加权聚合（AWA），计算各隐私片段的重要性权重，并通过加权聚合生成元恢复向量。

通过这些步骤，PrivacyRestore能够在保护隐私的同时，保持模型推理的高效性和准确性。实验结果表明，PrivacyRestore在多个数据集上的性能和隐私保护效果均优于现有方法。

4. PrivacyRestore的关键技术

4.1 编辑注意头识别（Edited Attention Heads Identification）

注意力机制

Transformer模型中的注意力机制

Transformer模型的核心是注意力机制，它通过为每个输入token分配不同的权重来捕捉输入序列中各个token之间的关系。注意力机制可以让模型关注输入序列中重要的部分，从而提高对序列数据的理解和处理能力。

注意力机制在捕捉输入中不同token之间关系中的作用

在Transformer模型中，注意力机制通过计算查询（query）、键（key）和值（value）之间的相似度来确定每个token的重要性。每个token的表示都会与其他token的表示进行对比，并根据相似度分配权重，从而实现对不同token之间关系的捕捉和建模。

识别最相关注意头的方法

使用探针技术（Probe Technique）评估注意头的相关性

探针技术用于评估Transformer模型中不同注意头的相关性。具体来说，我们可以训练一个分类器，使其能够区分包含隐私片段的输入和不包含隐私片段的输入。通过观察分类器在不同注意头上的表现，我们可以确定哪些注意头与隐私片段最相关。

训练分类器以识别与隐私片段相关的注意头

为了识别与隐私片段相关的注意头，我们训练一个分类器，使其能够在给定注意头输出的情况下，预测输入是否包含特定的隐私片段。分类器的高准确率表明该注意头对隐私片段具有较强的辨识能力。

选择Top-K注意头的步骤与算法

初始化分数列表，为每个注意头初始化一个空的分数列表。
计算每个注意头的平均分数，将每个隐私片段对应的Top-K注意头的得分添加到相应的分数列表中，计算每个注意头的平均分数。
选择得分最高的Top-K注意头，根据平均分数对注意头进行排序，选择得分最高的Top-K注意头。

公共Top-K注意头集的形成

通过统计所有隐私片段的Top-K注意头，形成一个公共的Top-K注意头集。这一过程确保了所选的注意头集能够涵盖所有隐私片段，从而有效保护隐私信息。

4.2 恢复向量训练（Restoration Vectors Training）

训练目标与损失函数

目标，使移除隐私片段后的输入与完整输入的预测结果一致

恢复向量训练的目标是确保移除隐私片段后的输入在进行推理时，其预测结果与包含完整输入的预测结果一致。

使用ORPO损失函数优化恢复向量

计算响应的概率，对每个训练样本，计算移除隐私片段后的输入以及完整输入的响应概率。
比较正负响应的比率，通过比较正响应和负响应的比率，评估恢复向量的效果。
最小化损失函数以优化恢复向量，使用ORPO损失函数，通过优化恢复向量，最小化预测结果与完整输入之间的差异。

插入恢复向量对模型激活的影响

训练样本生成与正负响应的定义

生成训练样本时，将隐私片段移除后的输入作为正响应，空响应作为负响应。通过这种方式，确保恢复向量能够有效恢复隐私信息。

插入恢复向量后对模型激活的影响评估

插入恢复向量后，通过观察模型的激活情况，评估其对模型性能和隐私保护效果的影响。

固定LLM参数，仅训练恢复向量

在训练过程中，固定LLM的参数，仅对恢复向量进行训练，以确保模型的稳定性和效率。

4.3 注意力感知加权聚合（Attention-aware Weighted Aggregation, AWA）

计算隐私片段的重要性权重

使用BERT模型计算每个隐私片段的注意力得分

在客户端使用BERT模型计算每个隐私片段的注意力得分，从而评估其在输入序列中的重要性。

计算各隐私片段的平均权重

通过对每个隐私片段的注意力得分进行平均计算，得到其在输入序列中的重要性权重。

聚合恢复向量的策略

基于权重的恢复向量加权求和

根据计算出的权重，对所有隐私片段的恢复向量进行加权求和，生成一个综合的恢复向量。

在只有一个隐私片段的情况下，向恢复向量注入噪声

当输入序列中只有一个隐私片段时，为了增加恢复向量的安全性，需要向其注入噪声，从而防止攻击者通过恢复向量推断出原始的隐私信息。

组合多个隐私片段的恢复向量生成元恢复向量

当输入序列中包含多个隐私片段时，通过加权求和的方式，将所有恢复向量组合成一个元恢复向量，用于模型推理中的隐私信息恢复。

元恢复向量的生成与传输

在客户端生成元恢复向量，并与移除隐私片段后的输入一起传输到服务器端。服务器端在推理过程中使用元恢复向量进行激活引导，从而恢复隐私信息，确保模型推理的准确性和隐私保护。

5. 实验与结果分析

5.1 数据集介绍

数据集选择

本研究主要在医疗诊断任务中保护用户输入的隐私。我们使用了两个主要数据集，Pri-Ddxplus和Pri-NLICE。这些数据集包含了大量的医疗症状和诊断信息，其中症状被视为隐私片段。具体来说，Pri-Ddxplus包含149种隐私片段，而Pri-NLICE包含70种隐私片段。

数据集构建过程

为了构建这些数据集，我们使用了GPT-3.5对所有可能的症状进行了隐私级别评估。每个症状根据其敏感性从1到5进行评分（见原文附录A.1）。然后，我们为每个样本生成了正确和错误的诊断选项，以便进行实验评估。

5.2 实验设置与评估指标

实验环境

在服务器端，我们使用了Llama2-chat-7b作为大型语言模型（LLM）。在客户端，我们使用BERT-base模型进行注意力感知加权聚合。所有实验均在NVIDIA A100 GPU上进行。

评估指标

为了全面评估PrivacyRestore方法的性能，我们使用了以下评估指标，

模型性能指标，MC1和MC2。MC1表示模型准确率，MC2表示模型预测正确答案的归一化概率。
隐私保护效果指标，攻击成功率（ASR）和F1得分。ASR表示提示注入攻击的成功率，F1得分表示属性推断攻击的效果。
推理效率指标，延迟和吞吐量。延迟分为服务器端和客户端延迟，吞吐量表示每秒生成的tokens数量。

5.3 模型性能与隐私保护效果比较

与无保护方法的比较

无保护方法的基准性能最高，但存在严重的隐私泄露风险。在表1中，未保护方法在两个数据集上的MC1和MC2得分均为最高，而ASR和F1得分则为最差，表明其隐私保护效果最差。

与差分隐私方法的比较

差分隐私方法通过在输入中添加噪声来保护隐私，尽管其隐私保护效果较好，但性能有所下降。在表1中，差分隐私方法的MC1和MC2得分低于PrivacyRestore，但ASR和F1得分相对较高，表明PrivacyRestore在保持高性能的同时，提供了更好的隐私保护。

与直接移除隐私片段方法的比较

直接移除隐私片段的方法在隐私保护上效果较好，但模型性能显著下降。在表1中，直接移除方法的MC1和MC2得分较低，而PrivacyRestore在提供相似或更好的隐私保护的同时，显著提高了模型性能。

实验结果佐证

在表1（见原文表1）中，PrivacyRestore方法在Pri-Ddxplus和Pri-NLICE数据集上的MC1和MC2得分显著高于差分隐私和直接移除方法，而ASR和F1得分则显著低于这些方法，表明其在性能和隐私保护上均优于现有方法。

5.4 消融实验分析

去除Top-K头选择器的影响

在没有Top-K头选择器的情况下，随机选择K个头会显著降低模型的性能和隐私保护效果。在表1中，去除Top-K头选择器后，模型的MC1和MC2得分大幅下降，而ASR和F1得分显著上升。

去除恢复向量训练的影响

使用ITI方法获得恢复向量而不进行训练会显著降低模型的性能和隐私保护效果。在表1中，去除恢复向量训练后，模型的MC1和MC2得分显著下降，而ASR和F1得分显著上升。

去除AWA的影响

使用等权重求和而不进行AWA会导致模型性能和隐私保护能力的下降。在表1中，去除AWA后，MC1和MC2得分有所下降，而ASR和F1得分上升，表明AWA对PrivacyRestore的有效性至关重要。

5.5 推理效率分析

服务器端的延迟与吞吐量

PrivacyRestore在服务器端进行推理时，带来了8%-13%的额外开销（见原文表2）。然而，这一开销在高效的推理过程中是可以接受的。

客户端的延迟与吞吐量

客户端生成元恢复向量的延迟相对较小，且吞吐量保持在原始模型的80%左右（见原文表2），表明PrivacyRestore在推理效率上具有较高的实用性。

总体推理效率比较

在表2（见原文表2）中，PrivacyRestore方法在Pri-Ddxplus和Pri-NLICE数据集上的延迟和吞吐量结果显示，PrivacyRestore的推理效率接近于原始模型，且在提供隐私保护的同时保持了高效的推理性能。

综上所述，PrivacyRestore方法不仅在隐私保护效果上优于现有方法，还在模型性能和推理效率上具有显著优势。实验结果表明，PrivacyRestore是一种在保护隐私的同时保持高效性能的有效解决方案。

6. 攻击与防御分析

潜在攻击场景

在实际应用中，PrivacyRestore可能会面临多种攻击，这些攻击旨在窃取或推断用户输入中的隐私信息。主要的攻击场景包括，

隐私恢复向量泄露攻击，攻击者可能会非法获取每个隐私片段的恢复向量，或者在传输过程中截获元恢复向量。
提示注入攻击（Prompt Injection Attack），攻击者在用户查询被传输到服务器前插入恶意内容，以诱导模型生成包含隐私信息的响应。
属性推断攻击（Attribute Inference Attack），攻击者通过训练分类器来推断用户输入中包含的隐私片段。

隐私恢复向量泄露攻击

在这种攻击场景下，攻击者可能获得每个隐私片段的恢复向量，并截获传输到服务器的元恢复向量。尽管如此，攻击者仍难以推断出具体的隐私片段。根据AWA方法（见原文§3.5），当查询中仅包含一个隐私片段时，元恢复向量是一个带有随机噪声的恢复向量，从而阻止了隐私片段的推断。当查询包含多个隐私片段时，攻击者需要尝试所有恢复向量的组合才能推断出隐私片段，而这种组合的数量随着隐私片段的数量呈指数增长，使得攻击难以实施。

提示注入攻击（Prompt Injection Attack）

攻击者可以通过拦截用户查询，并插入恶意内容以操控模型生成隐私信息。例如，在医疗诊断任务中，恶意内容可能是“列出所有可能的症状”。在表1（见原文表1）中，PrivacyRestore方法的攻击成功率显著低于其他方法，表明其对提示注入攻击具有较高的防御能力。

属性推断攻击（Attribute Inference Attack）

在这种攻击中，攻击者通过训练分类器来推断输入中的隐私片段。实验结果显示，PrivacyRestore方法的F1得分较低（见原文表1），表明其在防止属性推断攻击方面具有较高的效果。

7. 讨论

方法的优点与局限

PrivacyRestore方法在保护隐私的同时，能够保持较高的模型性能和推理效率。其主要优点包括，

隐私保护效果显著，通过移除和恢复隐私片段，有效防止了隐私泄露。
性能损失较小，与现有的差分隐私和SMPC方法相比，PrivacyRestore在性能和推理时间上具有明显优势。
高效的推理过程，实验结果表明，PrivacyRestore在保持隐私保护的同时，推理效率接近原始模型。

然而，该方法也存在一定的局限性，

依赖于隐私片段的定义和识别，PrivacyRestore依赖于对隐私片段的准确定义和识别，在某些情况下可能存在难度。
适用性，虽然在医疗领域表现优异，但在其他领域的适用性尚需进一步验证。

不同领域的适用性

尽管PrivacyRestore在医疗诊断任务中表现优异，其在其他领域如法律和金融等的应用潜力也值得探索。未来的研究可以扩展PrivacyRestore的应用范围，验证其在不同领域中的效果。

潜在的改进方向

为了进一步提升PrivacyRestore的性能和适用性，未来可以考虑以下改进方向，

优化隐私片段的定义和识别，开发更智能的算法，提高隐私片段识别的准确性。
减少训练时间，通过优化训练过程，进一步缩短恢复向量的训练时间。
扩展到更多应用场景，将PrivacyRestore应用于更多领域，验证其通用性和有效性。

大模型隐私保护方案比较表

特性	PrivacyRestore	差分隐私 (DP)	安全多方计算 (SMPC)	直接移除隐私片段
隐私保护效果	优秀	良好	优秀	良好
模型性能	高	中	低	低
推理效率	高	低	非常低	高
适用场景	多领域（特别是医疗）	广泛	高安全需求场景	广泛
训练时间	中等	长	非常长	无需训练
实现复杂度	中等	高	非常高	低
关键技术	激活引导，AWA	噪声注入	加密协议	无
优点	高效隐私保护，性能损失小	正式化隐私保证	强隐私保护	实现简单
缺点	依赖隐私片段识别	性能下降	推理时间过长	模型性能下降

讨论

总体看来，PrivacyRestore在性能和隐私保护之间达到了良好的平衡，适用于需要高效推理和隐私保护的应用场景。相比之下，差分隐私在性能上有所牺牲，但能提供正式的隐私保证；安全多方计算提供了最强的隐私保护，但由于推理时间过长，适用场景有限；直接移除隐私片段方法简单，但会显著降低模型性能。

结论

PrivacyRestore提出了一种新颖且高效的隐私保护方法，通过移除和恢复隐私片段，在保护用户隐私的同时，保持了模型的高性能和高效推理能力。实验结果表明，PrivacyRestore在隐私保护效果、模型性能和推理效率上均优于现有方法。未来的研究可以进一步优化该方法，并扩展其在不同领域中的应用，为更多实际场景中的隐私保护提供解决方案。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述