论文翻译 ACL-2023.Justus Mattern.Membership Inference Attacks against Language Models via Neighbourhood

已于 2024-10-18 08:40:46 修改
阅读量1.1k 收藏 10
点赞数 15
分类专栏： LLMs-数据污染 论文翻译 文章标签： 语言模型 深度学习 人工智能
于 2024-09-16 23:02:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/142304893
版权

Membership Inference Attacks against Language Models via Neighbourhood Comparison

https://arxiv.org/pdf/2305.18462

Mattern等人测试了目标序列和随机化序列之间的困惑度差异。来自：论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need

语言模型的成员推理攻击

文章目录

摘要

成员推理攻击（MIAs）旨在预测一个数据样本是否出现在机器学习模型的训练数据中，它们被广泛用于评估语言模型的隐私风险。大多数现有的攻击依赖于这样一个观察：模型倾向于为训练样本分配比非训练点更高的概率。然而，简单地将模型得分作为阈值来孤立判断，往往会导致高误报率，因为它没有考虑到样本的内在复杂性。最近的工作已经证明，通过将模型得分与在类似数据上训练的参考模型获得的得分进行比较，基于参考的攻击可以显著提高MIAs的性能。然而，为了训练参考模型，这类攻击做出了一个强烈且可能不现实的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文翻译：ACL-2024.Wentao Ye.Data Contamination Calibration for Black-box LLMs
CSPhD-winston的博客
09-07 889
大型语言模型（LLMs）的快速发展与训练数据规模的扩大密切相关。然而，未经检查的超大规模训练集引入了一系列潜在风险，如数据污染，即基准测试数据被用于训练。在这项工作中，我们提出了一种名为极化增强校准（PAC）的整体方法，以及一个名为StackMIA的全新数据集，以帮助检测污染数据并减少污染影响。PAC扩展了机器学习社区流行的MIA（成员推断攻击）——通过形成一个更全局的目标来检测训练数据，以澄清看不见的训练数据。
论文翻译：ICLR-2024.Oren.PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS
CSPhD-winston的博客
09-07 1355
大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已经记住了公共基准测试。从猜测到证明污染的存在是具有挑战性的，因为专有模型使用的预训练数据通常并不公开。我们展示了一种方法，可以在不访问预训练数据或模型权重的情况下，为语言模型提供可证明的测试集污染保证。我们的方法利用了一个事实，即如果没有数据污染，所有可交换基准测试的排序都应该同样可能。相比之下，语言模型倾向于记忆示例顺序，这意味着一个被污染的语言模型会发现某些规范排序比其他排序更有可能。我们的。
论文翻译：ACL-2024 Unveiling the Spectrum of Data Contamination in Language Models: A Survey from
CSPhD-winston的博客
09-07 140
电脑在大型语言模型（LLMs）的时代，由于依赖于广泛的互联网衍生的训练语料库，数据污染问题引起了越来越多的关注。训练语料库与评估基准的重叠问题——被称为污染——已成为近期重要研究的焦点。这些工作旨在识别污染，理解其影响，并从不同角度探索缓解策略。然而，在这个新兴领域，缺乏从基础概念到高级洞察的清晰路径的全面研究。因此，我们提供了一个关于数据污染领域的全面综述，概述了关键问题、方法和迄今为止的发现，并强调了需要进一步研究和发展的领域。特别是，我们首先检查了数据污染在不同阶段和形式的影响。
论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need
CSPhD-winston的博客
09-14 1147
Training on the Benchmark Is Not All You Need https://arxiv.org/pdf/2409.01790 标题：基准测试并非你所需的全部 摘要： 大型语言模型（LLMs）的成功在很大程度上依赖于在预训练阶段学习的大量预训练数据。预训练过程的不透明性和训练数据使得许多基准测试的结果变得不可靠。如果任何模型在基准测试集上进行过训练，它将严重阻碍该领域的健康发展。为了自动化和高效地测试大型语言模型的能力，众多主流基准测试采用了多项选择格式。由于多项选择选项内容的
stm32中用到的实时系统_实时控制系统的时序模型及其在AUTOSAR系统仿真监控中的应用-4.2-时序模型...
weixin_39839018的博客
12-10 407
原文引自：Frey, Patrick. "A timing model for real-time control-systems and its application on simulation and monitoring of AUTOSAR systems." (2010).本文仅用于自学和交流使用，未经允许请勿转载~4.2时序模型通过监视或模拟并行和分布式计算机系统来确定定时属性是基于...
【AI视野·今日NLP 自然语言处理论文速览 第三十七期】Wed, 20 Sep 2023
TomRen
09-22 1181
AI视野·今日CS.NLP 自然语言处理论文速览 Wed, 20 Sep 2023 Totally 64 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers SlimPajama-DC: Understanding Data Combinations for LLM Training Authors Zhiqiang Shen, Tianhua Tao, Liqun Ma, Willie Neiswanger, Joel
【AAAI 2021】全部接受论文列表（三）
yinizhilianlove的博客
01-14 5231
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
Pattern()和Mattern()函数
weixin_43560656的博客
06-04 2731
// pattern() 返回正则表达式的字符串形式, // 其实就是返回Pattern.complile(String regex)的regex参数 Pattern p=Pattern.compile("\\w"); p.pattern(); // 返回 \w+ System.out.println(p.pattern()); Pattern.split(CharSequ...
Improved Unsupervised Lexical Simplification with Pretrained Encoders 论文精读
qq_44948213的博客
12-26 1304
本文基于Qiang(2020)(2021)的工作进行扩展。贡献如下：(1)词语简化模型调整为Roberta模型，候选词扩为30个(2)替换词排序，引入新的特征加权方案Cf+WP(单词流行率)+Eq(等效分数)。替代排名有效改进LS系统，WP也可以改进LS系统，有待进一步研究。
epdf.pub_concurrency-graphs-and-models.pdf
04-24
《并发、图和模型：向Ugo Montanari 65岁生日献礼》是一本由Pierpaolo Degano、Rocco De Nicola和José Meseguer编辑的论文集，它专注于并发理论和实践中的图形表示和模型。该书的出版得到了Lecture Notes in ...
深度学习Day-37：NLP中的文本嵌入
m0_51359915的博客
10-17 822
1.2 定义填充函数self.fc = nn.Linear(embed_dim, 1) # 假设我们做一个二分类任务print("embedding输入文本是：",text)print("embedding输入文本shape：",text.shape)embedding_mean = embedding.mean(dim=1) # 对每个样本的嵌入向量进行平均print("embedding输出文本shape：",embedding_mean.shape)
基于深度学习的复杂器官建模与模拟
weixin_42605076的博客
10-10 1293
基于深度学习的复杂器官建模与模拟是一项前沿技术，它利用深度学习模型从大量医学图像和临床数据中提取信息，生成复杂器官的三维结构模型，并对其进行功能模拟。这项技术对于医学诊断、手术规划、药物开发和疾病研究有重要意义，特别是针对心脏、肝脏、肺等复杂器官。
【大模型实战篇】deep-ml项目深度学习关键模块代码练习题库及部分题目解法的分析
源泉的小广场
10-14 874
深度学习、机器学习、线性代数、python、源码、编程实践、问题解决
【鸟类识别系统】Python+卷积神经网络算法+人工智能+深度学习+ResNet50算法+计算机课设项目
子午的博客
10-12 1026
鸟类识别系统。本系统采用Python作为主要开发语言，通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型，然后进行模型的迭代训练，得到一个识别精度较高的模型，然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面，实现用户上传一张鸟类图像，识别其名称。本项目通过人工智能技术实现对鸟类图像的自动识别，满足用户在日常生活中快速、准确地识别鸟类的需求。
LeNet-5（论文复现）
wei_shuo的博客
10-11 1216
LeNet-5（论文复现）
深度学习-26-基于PyTorch的多层感知机DNN
最新发布
qq_20466211的博客
10-17 59
基于Fashion-MNIST数据集合PyTorch框架，搭建深度学习模型DNN并训练预测
循环神经网络-LSTM网络
2301_77698138的博客
10-09 1493
循环神经网络（Recurrent Neural Networks，RNN）是一种特殊的神经网络，具有能够处理序列数据的能力，然而，RNN在处理长序列时面临长期依赖问题，即当需要考虑较远过去的输入信息时，可能会由于反向传播过程中梯度的逐层累乘，导致梯度消失或爆炸，从而使得网络无法有效地学习到长时间跨度的依赖关系。为了解决RNN的长期依赖问题，长短期记忆网络（Long Short-Term Memory，LSTM）应运而生。LSTM是RNN的一种变种，具有更强的能力来处理长距离依赖关系。
吴恩达深度学习笔记：卷积神经网络（Foundations of Convolutional Neural Networks）3.9-3.10
weixin_43597208的博客
10-17 1080
那里没有任何对象，那么我们希望你的神经网络在那里（第一个𝑝𝑐）输出的是 0，这里（第二个𝑝𝑐）是 0，然后我们输出一些值，你的神经网络不能输出问号，不能输出 don’t care-s，剩下的我输入一些数字，但这些数字基本上会被忽略，因为神经网络告诉你，那里没有任何东西，所以输出是不是对应一个类别的边界框无关紧要，所以基本上是一组数字，多多少少都是噪音（输出 𝑦 如编号 3 所示）。现在你也可以运行一下卷积算法，这个算法的其中一个缺点是，它在显然没有任何对象的区域浪费时间，对吧。
AI学习指南深度学习篇-生成对抗网络的变体及扩展
俞兆鹏的博客
10-10 800
生成对抗网络（GAN）自2014年由Ian Goodfellow等人首次提出以来，迅速成为深度学习领域的一项重要技术。GAN的核心思想是通过两个神经网络的对抗训练来生成新的样本数据，这一过程可以在图像生成、图像编辑、超分辨率重建等诸多领域发挥巨大的作用。本文将重点介绍GAN的变体及其扩展，特别是条件生成对抗网络（cGAN）和Wasserstein GAN（WGAN）。我们将深入探讨这些变体的特点以及在各自应用领域的表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值