【论文阅读笔记】Automatic Adversarial Adaption for Stealthy Poisoning Attacks in Federated Learning

已于 2024-04-01 17:52:35 修改
阅读量1k 收藏 16
点赞数 21
文章标签： 论文阅读 笔记 支持向量机
于 2024-04-01 17:40:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leticia_m/article/details/137240847
版权
本文提出了一种针对FL（联邦学习）的防御策略，通过增广拉格朗日优化技术，解决对抗参数优化的问题，消除手动搜索最优超参数的需求。该方法考虑了适应性对手和多约束条件，实现在防御度量中有效值范围的适应，同时在实验中展示了全面性和收敛性与SOTA的竞争力。
摘要由CSDN通过智能技术生成

个人阅读笔记，如有错误欢迎指出

会议：2024 NDSS        2024-1366-paper.pdf (ndss-symposium.org)

问题:

        过滤的方法可以不降低分类精度实现防御，但容易遭受对抗适应性攻击

        “适应性对手”的研究有所欠缺

创新

        解决了how to backdoor in FL一文中的局限性(对抗参数的手动优化)

        利用增广拉格朗日优化技术的自适应方法

        消除了对最优优化超参数的手动搜索

        提出了多个不等式约束，允许在防御度量中适应有效值范围

相关知识

        拉格朗日优化

        目的：将有约束条件的函数最优化问题通过拉格朗日函数转化为无条件的函数最优化问题

        构造拉格朗日函数，求解偏导数等于0所形成的方程组，确定满足目标函数和约束条件的变量和乘子的值

        增广拉格朗日

        计算机没有直接的基于梯度的方法来查找拉格朗日乘子，因此采用增广拉格朗日

        与惩罚的方法相比，增加了第二个惩罚项来防止惩罚参数\rho_kρk\rho_kρk​无穷大

        目的：保证\rho_kρk\rho_kρk​再可接受范围内甚至固定的情况下计算出最优解

        Karush-Kuhn-Tucker (KKT)条件

        扩展了拉格朗日乘数的使用

方法

        整体流程：1）对手训练良性模型 2）获得防御使用的每个指标的值 3）根据良心模型的最大最小值形成范围 4）对手首先进行固定的无约束后门训练 5）根据步骤3中的范围约束初始化增广拉格朗日优化方法 6）当所有约束条件均被满足则对手终止训练并向服务器提交训练参数

        增广拉格朗日优化方法

        选择一个初始\alpha_k值，并在连续的优化中逐渐增加\alpha_k​值。（该方法允许在优化过程中逐步调整\alpha_k值，使模型能够适应并达到期望的值）。

        为了防止\alpha_k​向无穷发散，使用增广拉格朗日替换惩罚方法来满足等式约束。引入参数\lambda附加惩罚项模拟拉格朗日乘子，避免\alpha_k​趋近于无穷大以获得最优解的需要。\alpha_k甚至可以固定为一个特定的足够大的值\alpha_{al}​，以支配整个函数并保证凸性。然而确切的\alpha_{al}值不是一个敏感参数，也没有引入新的超参数，基于当前解x_k的约束违反更新\lambda。

        当扩大图3框4中所示的表达式以考虑不等式约束时，应该事先当约束满足(负)时惩罚函数不影响优化，通过重新表述不等式约束作为松弛的变量s^2的等式约束实现。这样就可以像标准增广拉格朗日方法那样处理不等式约束，但代价是需要优化一个额外的变量s。利用s在增广拉格朗日范围内的特殊而简单的结构，可以解析地求出变量s的最小值。这样，就可以从增广拉格朗日量中消去s，从而得到图3框5所示的公式。

        为了适应多个不等式约束，引入一个求和项，并为每个约束分配单个变量\mu_j，如图3框6所示。该方法等价于不等式约束的增广拉格朗日方法，保证了该方法的最优收敛性。

        利用良性客户端训练模型的最大最小值实现两个不等式约束，但这两条约束容易出现相互竞争。因此在满足约束时手动将\mu_j设为0

实验

        有无自适应调整模型的余弦相似度度量

        防御可能会逐层检查模型。因此调整了ResNet-18模型的所有层，使其与良性值范围对齐

        纳入多个防御度量指标对攻击无影响。

        与SOTA相比更全面

        收敛与可用性

        运行时间

_Mia_
关注
Threat of Adversarial Attacks on Deep Learning in Computer Vision A Survey.pdf
09-18
深度学习在近年来推动了人工智能的迅猛发展，特别是在计算机视觉领域，深度神经网络已经成为了自动驾驶汽车、监控和安全等应用的核心驱动力。然而，深度学习模型尽管在解决复杂问题上表现出色，却也暴露出了其脆弱性...
Automatic Adversarial Adaption for Stealthy Poisoning Attacks in Federated Learning-NDSS 2024
Restart的博客
03-07 1123
论文阅读笔记，本人保留自用。
Threat of Adversarial Attacks on Deep Learning in Computer Visio
09-25
然而，深度学习也面临着一个严峻的威胁——对抗性攻击（Adversarial Attacks）。这些攻击通过向图像或视频中添加微小而难以察觉的扰动，可以误导深度学习模型，使其做出错误的预测。 自从2013年首次发现这一现象...
Threat of Adversarial Attacks on Deep Learning in Computer Visi
09-23
标题“Threat of Adversarial Attacks on Deep Learning in Computer Vision”直指这一核心问题，即在机器视觉系统中，深学习模型可能会受到精心设计的对抗性样本的威胁。这篇名为“Threat of Adversarial Attacks ...
《A Generative Adversarial Model for Right Ventricle Segmentation》阅读笔记
01-06
本文主要讲了以下两点： （1）基于FCNN网络（就是我们平时所说的FCN），集成了三个概念：卷积门控递归单元（C-GRU），生成对抗网络（GAN）和L1损失函数。 （2）ROI-GAN：通过结合全局（全分辨率）和局部感兴趣区域...
adversarial-attacks-pytorch:PyTorch对抗攻击的实现
05-12
对抗攻击PyTorch 是一个PyTorch库，其中包含对抗性攻击以生成对抗性示例。...adversarial_images = atk ( images , labels ) :warning: 预防措施 在用于攻击之前，应使用transform [to.Tensor（）]将所有图像缩放为
论文阅读：3D Gaussian Splatting for Real-Time Radiance Field Rendering
qq_53589322的博客
09-11 1103
本工作首先基于SFM的点云设计了能快速精确表达场景的3D高斯函数，并以此开发了可由CUDA加速的渲染算法，实现了辐射场的实时渲染。本论文的核心在于3D高斯函数的场景表达方式以及快速渲染的方法。该方法整体如下图所示：首先从SFM得到的稀疏点云构建三维高斯函数，在训练过程中通过可微的快速渲染器对3D高斯函数的属性进行优化，并交替进行自适应密度控制。提出一个实时且能够高质量渲染场景的方法，通过结合离散和连续表示方法的优势，不仅克服了传统方法在噪声和渲染质量方面的限制，而且极大地提高了渲染速度。
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
日积月累，天道酬勤
09-07 1334
⭐ 作者开发了一个两部分量化程序LLM.int8()。首先使用向量级量化，对矩阵乘法中的每个内积使用单独的归一化常数，从而对大多数特征进行量化。然而，对于突现的异常值(outlier)，还包括了一种新的混合精度分解方案，将异常特征维度隔离到16位矩阵乘法中，同时仍然有99.9%以上的值在8位中进行乘法运算。
论文阅读《Robust Steganography for High Quality Images》高质量因子图片的鲁棒隐写
2301_81845359的博客
09-09 1012
用于高质量图像的鲁棒自适应隐写术方法；精细抖动机制
ACL 2024：交叉领域情感分析——论文阅读笔记
最新发布
weixin_62472350的博客
09-11 1188
阅读了一篇ABSA的论文，在这里写下自己的一些理解小笔记，可能有点小乱，原文在这下面： 论文链接：Refining and Synthesis: A Simple yet Effective Data Augmentation Framework for Cross-Domain Aspect-based Sentiment Analysis - ACL Anthology 中文文章链接：论文速递丨ACL 2024：交叉领域情感分析 (qq.com) 大多数ABS
论文阅读：RGBD GS-ICP SLAM
qq_53589322的博客
09-11 979
文章提出了RGBD GS-ICP-SLAM，这是一种利用三维高斯表示进行高保真度空间表示的密集表示SLAM系统。作者证明了利用单一三维高斯地图进行跟踪和建图的G-ICP和3DGS的融合可以产生相互的好处。跟踪和建图过程之间的高斯交换与尺度对齐最小化了冗余计算并构建了一个高效的系统。此外，动态关键帧选择方法提高了跟踪和建图性能。通过广泛的实验，所提出的方法在空间表示、相机位姿估计和总系统速度方面呈现出最先进的性能。
【论文阅读笔记】Tackling the Generative Learning Trilemma with Denoising Diffusion GANs
weixin_43357695的博客
09-10 1263
我们模型的一个自然问题是，为什么不仅仅是训练一个 GAN，它可以使用传统的设置一次性生成样本，而我们的模型通过迭代去噪生成样本。在图像生成中，我们观察到我们的模型获得了与扩散模型竞争的样本质量和模式覆盖率，同时只需要两个去噪步骤，与Song等人(2021c)在CIFAR-10上的预测器校正器采样相比，采样速度提高了约2000倍。为了说明这一点，在图 2 中，我们可视化了多模态数据分布的不同去噪步长的真实去噪分布。具体来说，我们的正向扩散的设置类似于Eq. 1中的扩散模型，主要假设T很小(T≤8)，
[论文笔记]QLoRA: Efficient Finetuning of Quantized LLMs
日积月累，天道酬勤
09-07 1951
⭐ 作者提出了QLoRA，一种高效的微调方法，它在减少内存使用的同时保持16位微调任务的完整性能。这是通过：4位NormalFloat、双重量化(对量化常数进行量化)、分页优化器(GPU内存不足的情况下，自动进行CPU和GPU之间的页面传输)来管理内存峰值实现的。微调时冻结**4位量化预训练语言模型**而向低秩适配器(LoRA)反向传播梯度。
GS-SLAM论文阅读笔记--MM-Gaussian
qq_45795134的博客
09-10 1313
传统的SLAM方法往往受到地图表示的限制，如点云,surfel和voxel，它们只能以固定的分辨率重建地图。这一限制阻碍了对场景复杂纹理的捕捉，并阻碍了SLAM实现合成新视点等功能.此外，户外场景由于其无界特性，带来的挑战呈现出特别的复杂性。现存方法通常是基于RGB-D或单目相机。单目相机中深度数据的缺失会导致三维高斯分布的不准确。同时，RGB-D相机捕获的深度信息范围有限，使其在广阔的户外场景中的使用变得复杂。
【论文阅读】DETRs Beat YOLOs on Real-time Object Detection
qq_42591591的博客
09-07 997
YOLO系列由于在速度和准确性之间的合理权衡，已成为最受欢迎的实时目标检测框架。然而，我们观察到YOLO的速度和准确性受到NMS的负面影响。最近，基于端到端Transformer的检测器（DETRs）为消除NMS提供了一种替代方案。尽管如此，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT - DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
Probabilistic Embeddings for Cross-Modal Retrieval 论文阅读
weixin_44609958的博客
09-10 1246
跨模态检索方法通过为来自多个模态的样本构建一个公共表示空间，通常涉及视觉和语言领域。对于图像及其对应的文字说明，由于其对应关系的多样性，这项任务尤其具有挑战性。给定一个图像（或文字说明），可能有多个文字说明（或图像）同样合理。在本文中，我们认为确定性函数不足以捕捉这种一对多的对应关系。相反，我们提出使用概率跨模态嵌入（PCME），在这种方法中，来自不同模态的样本被表示为公共嵌入空间中的概率分布。
论文阅读翻译之Deep reinforcement learning from human preferences
shizidushu的博客
09-11 1428
对于复杂的强化学习（RL）系统来说，要与现实世界环境有效互动，我们需要向这些系统传达复杂目标。在这项工作中，我们探索了以（非专家）人类对轨迹段对的偏好来定义目标。我们展示了这种方法可以在没有奖励函数的情况下有效解决复杂的RL任务，包括Atari游戏和模拟机器人运动，同时仅需对不到1%的代理与环境交互提供反馈。这大大降低了人类监督的成本，使其能够实际应用于最先进的强化学习系统。为了展示我们方法的灵活性，我们表明可以在大约一小时的人类参与时间内成功训练出复杂的新行为。
论文阅读_检索增强生成 RAG 综述
谢彦的技术博客
09-08 1294
探讨检索增强生成（RAG）作为解决大型语言模型（LLMs）遇到的挑战的有效方法，以提高生成的准确性和可信度，特别是对于知识密集型任务。
STM32学习笔记（二、初识stm32单片机）
tommorrowwill的博客
09-10 749
首先stm32是意法半导体公司（ST）使用ARM公司的Cortex-M为核心生产的32位的单片机。其中，ST---意法半导体公司，即SOC厂商。M---为Microelectronics的缩写，即微型处理器。32---表示控制器为32位的。103---表示F系列的子系列。
Towards Deep Learning Models Resistant to Adversarial Attacks
04-03
Adversarial attacks are a major concern in the field of deep learning as they can cause misclassification and undermine the reliability of deep learning models. In recent years, researchers have proposed several techniques to improve the robustness of deep learning models against adversarial attacks. Here are some of the approaches: 1. Adversarial training: This involves generating adversarial examples during training and using them to augment the training data. This helps the model learn to be more robust to adversarial attacks. 2. Defensive distillation: This is a technique that involves training a second model to mimic the behavior of the original model. The second model is then used to make predictions, making it more difficult for an adversary to generate adversarial examples that can fool the model. 3. Feature squeezing: This involves converting the input data to a lower dimensionality, making it more difficult for an adversary to generate adversarial examples. 4. Gradient masking: This involves adding noise to the gradients during training to prevent an adversary from estimating the gradients accurately and generating adversarial examples. 5. Adversarial detection: This involves training a separate model to detect adversarial examples and reject them before they can be used to fool the main model. 6. Model compression: This involves reducing the complexity of the model, making it more difficult for an adversary to generate adversarial examples. In conclusion, improving the robustness of deep learning models against adversarial attacks is an active area of research. Researchers are continually developing new techniques and approaches to make deep learning models more resistant to adversarial attacks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值