论文笔记：PRIVACY ISSUES IN LARGE LANGUAGE MODELS: A SURVEY

最新推荐文章于 2025-05-08 17:42:45 发布
最新推荐文章于 2025-05-08 17:42:45 发布
阅读量1k 收藏 17
点赞数 12
分类专栏： 论文笔记 文章标签： 论文阅读 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/138626197
版权

1 intro

1.1 motivation

  • 2022年11月ChatGPT的推出引起了全球轰动，推动了人工智能研究、初创企业活动以及大型语言模型（LLM）的消费者采用。
  • 到2023年底，LLM的进展持续加速，但人们普遍认为，尽管LLM带来了变革性的经济效益，但它们也存在重大的社会风险。
    • 一派AI安全倡导者关注于发展超级智能的存在风险；如AI初创公司Anthropic在其关于AI安全的立场文件中指出，“如果我们构建了一个比人类专家更为能干的AI系统，但它追求与我们最佳利益相冲突的目标，后果可能非常严重。”
    • 另一派则认为，在目前的技术基础上构建超级智能系统的风险很小，但同时对现有或近期LLM的误用持严重担忧。
  • 这些担忧集中在当前一代语言模型的可靠性、有害内容、偏见、安全性和隐私性等问题上。

1.2 论文贡献

  • 论文重点关注隐私这一多方面的话题，包括模型是如何被开发、微调、部署及在训练后如何修改的
    • 前两节：回顾了揭示这些隐私风险的现有工作
    • 第三节：大型语言模型倾向于记忆其底层训练数据
    • 第四节：可以访问模型的隐私攻击暴露底层训练数据
    • 第五节：回顾了关于语言模型的DP训练和联合训练的现有工作
    • 第六节：缓解训练数据版权问题的早期算法工作
    • 第七节：回顾了从LLM中遗忘的早期工作

2 通用术语

2.1 数学符号

D

数据集。

包括分别用于训练和测试的Dtrain和Dtest。
A 训练算法，将Dtrain映射为h，即一种语言模型
h 由A(Dtrain)产生的语言模型
θ 模型h的参数
Z 隐私攻击
U 遗忘算法
s 一个序列、示例或单个字符串
ℓ 损失函数
τ 阈值。通常在成员推断攻击的背景下使用
ϵ, δ 差分隐私参数

2.2 缩写概念

缩写 解释
AUC 曲线下面积
BERT 双向编码器表示从变换器
BLEU 双语评估替补
BPE 字节对编码
CRT 机密剔除训练
DP 差分隐私
DP-SGD 差分隐私随机梯度下降
GPT 生成预训练变换器
GPT-n, ChatGPT, ... 上述的变体
k-NAF k近接访问自由
KNN k最近邻居
LM 语言模型
LLM 大型语言模型
LOO 留一法
LSTM 长短期记忆网络
MIA 成员推断攻击
MLM 掩蔽语言模型
PHI 个人健康信息
PII 个人可识别信息
SGD 随机梯度下降
SISA 分片、隔离、切片和聚合训练
TPR, FPR 真阳性率，假阳性率

3 记忆

3.1 初步概念

  • 应用于语言模型的记忆化的现有定义可以分为三个类别：映像记忆、曝光记忆和反事实记忆。
  • 此外，还有两种不同的方法用于确定两个序列是否相同，一个来自训练数据，另一个由语言模型生成：
    • 精确匹配：在精确匹配中，两个序列s1和s2（无论是单词、数字还是完整的论文）被认为是相同的，当且仅当它们完全匹配时。这是最直接和计算效率最高的方法。因此，几乎所有记忆化研究都采用了这种方法。
    • 近似匹配：如果两个序列s1和s2的编辑距离在指定范围内，则被认为是相同的。虽然这个定义使用较少，但有充分的理由在未来研究中使用它（或其变体）。

3.2 影响记忆的因素

3.2.1 模型大小

  • 影响记忆化的第一个重要因素是模型h的大小。
  • 最近的研究表明，给定一个固定的训练数据集，模型的大小越大，记忆化的量越大。
    • Carlini等人[2023a]使用了GPT-Neo系列的LLMs，并发现较大模型在对数线性尺度上记忆更多
      • 即模型大小增加十倍对应记忆增加19%
      • 这些结果在图2(a)中可以看到
      • 即使在数据重复量和用来提示模型的令牌长度等其他因素变化时，这种效应也是一致的
      • Quantifying memorization across neural language models, 2023
        Memorization without overfitting: Analyzing the training dynamics of large language models, 2022

    • Tirumala等人[2022]发现，较大的模型不仅记忆训练数据的比例更大，而且记忆这些数据的速度也更快
      • 也就是说，记忆化效应在相对较少的训练迭代后就显现出来

  • Kandpal等人[2022]研究了Transformer模型的性能、模型大小和记忆化的影响
    • 他们测量了来自Mistral项目（Stanford[2021]）的117M和345M参数模型以及来自West（West等人[2021]）的1.5B参数模型在OpenWebText（Gokaslan和Cohen[2019]࿰
最低0.47元/天 解锁文章
PRIVACY ISSUES IN LARGE LANGUAGE MODELS: A SURVEY
c_cpp_csharp的专栏
01-17 537
这是对人工智能研究活跃领域的首次调查，重点关注大型语言模型（LLM）中的隐私问题。具体而言，我们专注于红队建模的工作，以突出隐私风险，试图将隐私纳入训练或推理过程，使经过训练的模型能够有效删除数据，以符合现有的隐私法规，并试图缓解版权问题。我们的重点是总结开发算法、证明定理和进行实证评估的技术研究。虽然有大量的法律和政策工作从不同的角度应对这些挑战，但这并不是我们调查的重点。尽管如此，这些工作以及最近的法律发展确实为这些技术问题的形式化提供了信息，因此我们在第1节中简要讨论了这些问题。
Security and Privacy Challenges of Large Language Models: A Survey
c_cpp_csharp的专栏
03-07 205
大型语言模型（LLM）已经展现出非凡的能力，并在多个领域做出了贡献，如生成和总结文本、语言翻译和问答。如今，LLM正成为计算机语言处理任务中非常流行的工具，能够分析复杂的语言模式，并根据上下文提供相关和适当的回应。这些模型在提供显著优势的同时，也容易受到安全和隐私攻击，如越狱攻击、数据中毒攻击和个人身份信息（PII）泄露攻击。这项调查全面审查了LLM对训练数据和用户的安全和隐私挑战，以及交通、教育和医疗保健等各个领域中基于应用程序的风险。
On Protecting the Data Privacy of Large Language Models (LLMs) A Survey
2401_86951331的博客
09-11 965
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！
Privacy-preserving Fine-tuning of Large Language Models through Flatness
c_cpp_csharp的专栏
06-22 220
最近，随着ChatGPT等大型语言模型的发展，与大型语言模型（LLM）的使用相关的隐私问题日益严重。在现有工作中探索了差分隐私（DP）技术，以降低其隐私风险，代价是泛化能力下降。我们的论文揭示了DP训练模型的损失景观的平坦性在其隐私性和泛化之间的权衡中起着至关重要的作用。我们进一步提出了一个整体框架来实施适当的权重平坦性，这大大提高了具有竞争性隐私保护的模型泛化能力。
In-Context Learning中的示例选择及效果
Kaiyuan_sjtu的博客
04-25 2140
一. ICL的背景大型语言模型（LLM）如GPT-3是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个token（Next token prediction）。这样简单的训练目标，大规模数据集以及高参数量模型相结合，产生了性能极强的LLM，它可以“理解”任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3的论文发现[1]，大规模的训练数据会产生一种有趣的新兴行为，称为In-C...
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
tagagi的博客
11-01 4033
论文地址： https://arxiv.org/abs/2108.05542 1 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
LLM 大模型实用指南 | The Practical Guides for Large Language Models
热门推荐
AI天才研究院
05-31 1万+
LLM 大模型实用指南 | The Practical Guides for Large Language Models。
【全文翻译】Preserving Data Privacy via Federated Learning: Challenges and Solutions
weixin_43682519的博客
10-16 1179
数据一直是各种规模企业的主要优先事项。 随着数据本身随着技术的发展而激增，企业倾向于增强其在数据上下文中的能力并从中汲取新的见解。 联合学习是保护隐私的机器学习技术的一种特殊形式，可以将数据关联起来。 这是一种分散式培训方法，用于私下收集和培训位于不同地理位置的移动设备提供的数据。 此外，用户可以从获得训练有素的机器学习模型中受益，而无需将其隐私敏感的个人数据发送到云中。 本文重点介绍与通过联合学习保护数据隐私相关的最重大挑战。 讨论了有价值的攻击机制，并针对相应的攻击突出了相关的解决方案。 此外，还讨论了
machine unlearning 论文阅读笔记
fa1c4的blog
12-04 9317
文章目录前言概要导论 前言 做一篇发表在顶会S&P - 42nd42^{nd}42nd IEEE Symposium of Security and Privacy 的paper阅读笔记 Machine Unlearning 这是一篇关于机器遗忘学习的paper, 顾名思义, machine unlearning就是让训练好的模型遗忘掉特定数据训练效果/特定参数, 以达到保护模型中隐含数据的目的. 随着隐私保护法的颁布, 最近两年机器遗忘学习逐渐成为AI security和privacy领域的研究热
【LLM安全】Privacy in Large Language Models- Attacks, Defenses and Future Directions（综述）
xnxqwzy的博客
03-21 1322
在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。尽管如此，基于领域的LLMs应用的隐私和安全问题仍是一个未被探索的领域。
论文翻译-Recommendation Unlearning
qq_53430308的博客
09-18 920
推荐系统通过从收集的数据中了解用户的个人偏好，提供基本的网络服务。然而，在许多情况下，系统还需要忘记一些训练数据。从隐私的角度来看，用户希望有一个工具来从训练过的模型中消除他们的敏感数据的影响。从实用程序的角度来看，如果一个系统的实用程序被一些坏的数据损坏了，系统需要忘记这些数据来重新获得实用程序。虽然遗忘非常重要，但在现有的推荐系统中还没有得到很好的考虑。虽然有一些研究对机器遗忘的问题进行了研究，但现有的方法由于不能考虑协作信息，因此不能直接应用于推荐。
隐私保护与大型语言模型，PrivacyRestore技术详解
m0_59164304的博客
07-07 1540
PrivacyRestore的核心思想是通过移除用户输入中的隐私片段，并在模型推理过程中通过激活引导技术恢复隐私信息。具体来说，PrivacyRestore框架包括以下几个步骤，隐私片段的定义与识别，确定输入文本中需要保护的隐私信息，并将其移除。激活引导的基本原理，使用恢复向量在推理过程中进行激活引导，恢复被移除的隐私信息。注意力感知加权聚合（AWA），计算各隐私片段的重要性权重，并通过加权聚合生成元恢复向量。
斯坦福机器学习-week 3 学习笔记（3）—— 解决Overfitting
小胜爱捣鼓
01-30 6031
keyword: Overfitting ,Regularization 目录 一.Overfitting的定义 二.解决Overfitting的方法 三.Regularization 四.Regularization时α值的影响   一.Overfitting的定义     根据Andrew Ng的说法，overfitting的定义如下：If
2021-09-16
Genevieve77的博客
09-16 463
《Federated Learning Challenges, methods, and future directions》翻译 教育学习涉及在远程设备或孤立的数据中心(如移动电话或医院)上培训统计模型，同时保持数据本地化。在异构和潜在的大规模网络中的训练带来了新的挑战，需要从根本上背离大规模机器学习、分布式优化和保护隐私的数据分析的标准方法。在这篇文章中，我们讨论了联合学习的独特特征和挑战，提供了当前方法的广泛概述，并概述了与广泛的研究社区相关的未来工作的几个方向 INTRODUCTION介绍 手机、可
【论文阅读】HunyuanVideo: A Systematic Framework For Large Video Generative Models
xianshuiyihui的博客
05-07 537
Hunyuan Video论文详解
[论文笔记] 超详细解读DeepSeek v3全论文技术报告
最新发布
心宝的博客
05-08 77
（可以理解为有多个专家，但每个token只会选择一部分专家进行推理，所以一个token的预测，只会用到37B参数），DeepSeek-V3 使用了。来实现高效的流水线并行（减少空泡情况，计算和通信同时进行，提升每张显卡的利用率）。对DeepSeek-V3进行了两阶段的上下文长度扩展。，在不使用采样loss帮助下，让每个专家访问次数接近）的。2、在第二阶段，进一步扩展到128K。阶段，以使其与人类偏好保持一致，并进一步释放其潜力。个不同的高质量token训练，然后进行监督微调和。，MoE）语言模型，总共。
[论文阅读]MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System
m0_52911108的博客
05-06 922
MCP Guardian 不要求开发人员直接在每个工具服务器中嵌入安全检查，而是通过覆盖 MCP 中的 invoke_tool 方法拦截所有调用。这种设计选择可确保对现有 5 个代码库的干扰降到最低，同时为身份验证、授权、速率限制、请求监控和 Web 应用程序防火墙 (WAF) 扫描提供一个中央控制点。安全性：MCP Guardian 有效阻止了未经授权的令牌、恶意命令（如 drop table、rm -rf /）和过高的请求率，展示了其在处理常见攻击模式和资源滥用方面的稳健性。
【论文阅读】Harnessing the Power of LLM to Support Binary Taint Analysis
网络空间安全|人工智能|计算机科学
05-07 870
研究背景软件测试与漏洞检测现状：软件测试是保证软件质量的主要方法，但无法确保无漏洞。二进制漏洞可能被利用，引发网络攻击，第三方安全审计及静态二进制污点分析成为保障软件安全的重要手段。静态二进制污点分析概述：该分析通过识别污点源、传播污点标签、检查漏洞点来检测漏洞，然而其部分流程依赖人工，规则设计复杂且易出错。LLMs的应用潜力：LLMs在代码理解方面有优势，如代码生成和总结，但应用于二进制漏洞检测存在提示工程和代码上下文编码等挑战。LATTE设计整体思路。
【论文笔记】SOTR: Segmenting Objects with Transformers
Word_And_Me_的博客
05-05 1108
【题目】：SOTR: Segmenting Objects with Transformers【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166.【网址】：https://openaccess.thecvf.com/cont
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值