- 博客(16)
- 收藏
- 关注
RSS订阅原创 【LLM+Poisoning】On the Exploitability of Instruction Tuning
指令调优是一种有效的技术可以使大语言模型（LLMs）与人类意图保持一致。在这项工作中，我们研究了如何利用指令调优，通过向训练数据注入特定的指令示例来改变模型的行为。例如，攻击者可以通过注入提及目标内容的训练示例，并引发下游模型表现出相关行为，来实现内容注入。为了实现这一目标，我们提出了AutoPoison，这是一个自动化的数据毒化流程。它利用一个Oracle LLM自然而连贯地将多种攻击目标融入到毒化数据中。我们展示了两种示例攻击：内容注入和过度拒绝攻击，每种攻击都旨在诱导特定的可利用行为。
2023-11-23 14:06:42
190
原创 【LLM-backdoor论文】Poisoning Language Models During Instruction Tuning
Instruction-tuned LMs（Language Models）如ChatGPT、FLAN和InstructGPT是在包含用户提交示例的数据集上进行微调的，例如，FLAN整合了众多开源数据集，而OpenAI则利用在浏览器playground提交的示例。在这项工作中，我们展示对手可以向这些数据集中贡献有害示例，使其能够在输入中出现所需的触发短语时操纵模型预测。例如，当下游用户提供提到“Joe Biden”的输入时，被植入有害信息的LM将难以对该输入进行分类、摘要、编辑或翻译。
2023-11-16 10:53:32
245
1
原创 【LLM-backdoor论文】Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for LLM
指令微调模型是在众包数据集上使用任务说明进行训练，以实现更出色的性能。然而，在这项工作中，我们对这种训练范式提出了安全方面的担忧。我们的研究表明，攻击者可以通过在成千上万条收集到的数据中发布极少数恶意指令，并通过数据污染控制模型行为，而无需修改数据实例或标签本身就可以注入后门。通过这种指令攻击，攻击者可以在四个常用的自然语言处理数据集上实现超过90%的攻击成功率，并造成持久的后门，这些后门很容易转移到15个不同的数据集中而无需额外训练。
2023-11-04 22:05:04
277
原创 【FL-LLM论文】FEDERATEDSCOPE-LLM: A COMPREHENSIVE PACKAGE FOR FINE-TUNING LARGE LANGUAGE MODELS IN FL
大语言模型（LLMs）已经在各种自然语言理解和生成任务中展现出了巨大的能力。诸如Hugging Face之类的平台方便了不同实体（从计算机科学研究人员到几乎没有机器学习背景的用户）访问和利用预训练的LLMs。不同实体可以通过微调LLMs进一步提高这些模型在特定下游任务中的性能。当几个实体有类似的感兴趣任务，但由于隐私问题而不能直接共享本地数据时，联邦学习（FL）是利用不同实体数据的主流解决方案。除了避免直接数据共享外，FL还可以通过结合不同技术实现严格的数据隐私保护、模型智能财产保护以及模型定制。
2023-11-02 15:49:35
434
原创 【联邦学习-大模型论文】Federated Large Language Model : A Position Paper
大规模语言模型（LLM）受到了广泛的关注，并应用在各个领域，但它们在现实场景中的发展面临挑战。这些挑战源于公共领域数据稀缺以及在私有领域数据方面需要维护隐私。为了解决这些问题，联邦学习（FL）已成为一项有前景的技术，它能够在保留分散数据的同时实现共同训练共享模型。我们提出了联邦大规模语言模型的概念，其包括三个关键组成部分，即联邦LLM预训练、联邦LLM微调和联邦LLM提示工程。针对每个组成部分，我们讨论了它相对于传统LLM训练方法的优势，并提出了具体的工程策略以供实施。
2023-10-28 16:22:41
2779
原创 【联邦学习-后门攻击论文】FLIP: A PROVABLE DEFENSE FRAMEWORK FOR BACKDOOR MITIGATION IN FEDERATED LEARNING
联邦学习是一种分布式学习范式，它使不同的参与方能够一起训练模型，以实现高质量和强大的隐私保护。在这种情况下，参与者可能会受到损害，并通过毒化数据（或梯度）来执行后门攻击。现有的基于鲁棒聚合和经认证的FL鲁棒性的工作并未探讨强化良性客户端如何影响全局模型（以及恶意客户端）。在这项工作中，我们从理论上分析了交叉熵损失，攻击成功率和干净精度之间的联系。此外，我们提出了一种基于触发器逆向工程的防御方法，并表明我们的方法可以有保证的实现鲁棒性改进（即，降低攻击成功率），而不影响良性精度。
2023-10-18 20:05:54
1096
1
原创 【联邦学习-后门攻击论文】On the Vulnerability of Backdoor Defenses for Federated Learning
联邦学习（FL）是一种受欢迎的分布式机器学习范式，能够在不共享客户端数据的情况下共同训练全局模型。然而，其反复的服务器-客户端通信为后门攻击提供了机会，该攻击目的是在出现特定触发模式时将全局模型误导为有针对性的错误预测。为了应对联邦学习中的这种后门威胁，已经提出了多种防御措施。本文通过提出一种新的联邦后门攻击方法来研究当前的防御机制是否能够在实际环境中真正抵消来自联邦学习的后门威胁。
2023-10-14 15:52:52
718
1
原创 【论文代码】Federated learning benchmark LEAF详解（二）
LEAF : A Benchmark for Federated Settings
2023-01-20 10:36:04
308
原创 【论文代码】Federated learning benchmark LEAF详解（一）
LEAF : A Benchmark for Federated Settings 官方项目分析
2023-01-19 18:59:44
875
2
原创 【论文导读】LEAF: A Benchmark for Federated Settings
LEAF: A Benchmark for Federated Settings
2023-01-17 16:39:07
449
1
原创 【论文导读】Federated learning for mobile keyboard prediction
Federated learning for mobile keyboard prediction
2023-01-16 12:30:33
436
1
原创 Dataset not found or corrupted. You can use download=True to download it
数据集问题
2022-10-06 10:46:13
1581
原创 错误解决：Expected object of scalar type Long but got scalar type Int for argument #2
错误解决：Expected object of scalar type Long but got scalar type Int for argument #2
2022-09-05 10:13:38
1629
原创 机器学习笔记（3）
今天带来的是《机器学习实战》第三章 决策树的知识笔记决策树决策树也是目前最常使用的数据挖掘算法k-近邻算法可以完成很多分类任务，但是它最大的缺点就是无法给出数据的内在含义，决策树的主要优势就在于数据形式非常容易理解决策树的一个重要任务是为了数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，在这些机器根据数据集创建规则时，就是机器学习的过程专家系统中经常使用决策树，而且决策树给出结果往往可以匹敌在当前领域具有几十年工作经验的人类专家优点：计算复杂度不高，输出结果易
2022-05-22 11:24:45
194
原创 学习笔记（一）
从这周就开始学习机器学习实战这本书，我在学习的同时会记录笔记，笔记整理之后会写博客发布，初学者，我是一个菜鸡，大家可以一起交流学习，勿喷这本书和相关的源代码，我会分享在百度网盘，学习使用，如有侵权，我会立刻删除链接：https://pan.baidu.com/s/1cS_U8LdHYH0ei6H6JV45tQ提取码：nxug我只是把书中的知识点简单总结了标记了一下，具体大家自己去看书第一部分：分类监督学习：在监督学习的过程中，我们只需要给定输入样本集，机器就可以从中推演出指定目标变量的可能结果
2022-05-17 12:47:53
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人