应用转移的黑盒攻击（Transferability in Machine Learning: from Phenomena toBlack-Box Attacks using Adversarial）

已于 2024-03-18 12:44:59 修改
阅读量1.1k 收藏 19
点赞数 25
分类专栏： 论文精读 文章标签： 机器学习 深度学习 分类算法 神经网络 论文阅读
于 2024-03-14 16:50:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a2333333_/article/details/136712686
版权

一、简介

这篇文章是2016年的，很有年代感

其提出的方法几乎是最早一批的黑盒攻击方式，很有味道值得一读

本文讲述了面对黑盒（Black-Box）模型时，通过构造替代（substitute）模型，通过转移（transfer）手段对受害者（victim）模型（也就是要被攻击的模型）进行攻击

二、文章特色

2.1名词解释

文章营养浓缩成精华，我们先来解释几个概念

名词概念
白盒模型模型参数均可知的模型
黑盒模型攻击者无法访问模型，甚至不知道softmax层的输出概率，只能知道模型输出类别
受害者模型攻击方需要攻击的模型
替代模型受害者模型的替身，是攻击者构建的，和受害者模型相似，对于攻击者来说是白盒模型
转移攻击者通过攻击替代模型，习得的攻击方法一定程度对受害者模型有效

2.2对比模型

文章对比了五大机器学习模型：DNN（深度神经网络），LR（逻辑回归），SVM（支持向量机），DT（决策树），KNN（k近邻）

三大特性分别为：可微分，线性，延迟预测

机器学习模型特性

 五大模型各有各色，不过基于现实，我们主要关注深度神经网络以及逻辑回归。

2.3替代模型

替代模型是用来作为受害者模型的替身的，所以攻击者期望替代模型可以尽可能的代表受害者模型，也就是说，期望二者有更高的相似性

因此，作者使用了一些方法来训练替代模型：

第j个数据(x_i,y_i)^j，数据集\left \{ (x_i,y_i)^j \right \}^{(j=1...N)}，受害者模型O(\cdot)，受害者模型预测标签也就是O(x_i)

而替代模型的训练数据集则为\left \{ (x_i,O(x_i)^j \right \}^{(j=1...N)}

是的，替代模型并不是按照数据集的标签训练的，而是使用受害者模型的标签进行训练

这种训练方式可以使得替代模型逼近受害者模型，而非正确预测类别的分类器

2.3数据集

选择数据集也是有技巧的，我们上面说了，替代模型的训练数据集的标签是受害者模型预测标签O(x_i)；相当于每有一个训练数据，便需要受害者模型输出一个标签，这被称之为对受害者模型进行查询（query）

查询多了，就容易被受害者发现（笔者这么理解的）；同时我们希望替代模型训练数据尽可能多

满足两者的，便是只使用部分数据进行查询，并进行数据增强

文章对于数据增强提出了三大创新，解释了：增强谁，怎么增强的问题

2.3.1增强谁

文章使用水库采样（RS）挑选需要被增强的数据集 

具体来说，对于有N个数据的数据集S_{\rho-1 }，选定参数k

直接增强前k个样本，对于剩余N-k个样本，对于第i(i\geq k)个样本，其有\frac{k}{i}的几率被增强

增强后的样本和原样本取并集生成新数据集S_{\rho }

水库采样可以使得S_{\rho-1 }中的每一个样本都有\frac{1}{|S_{\rho-1 }|}的几率被增强

𝑆𝜌−1S_(ρ-1)，

水库采样流程图

2.3.2如何增强

使用水库采样挑选出来的样本，文章使用了基于雅可比矩阵（Jacobian-based）的数据增强方法：

S_{\rho }=\left \{ x+\lambda_\rho \cdot sgn(J_f[O(x)]:x\in S_{\rho -1} )\right \} \cup S_{\rho -1 }

其中J_f是雅可比矩阵，\lambda_\rho是步长，其表达式为\lambda_\rho=\lambda \cdot (-1)^{[ \frac{\rho}{\tau} ]}；这种步长随着周期变化的方法称为周期步长（PSS）

使用这两种方法进行的数据增强有一定的优越性，在后文实验部分有所论证

三、实验

实验部分我们挑三个讲，分别是转移的有效性、替代模型的选取以及攻击的有效性

在五种模型中，我们主要关注DNN、LR

3.1转移的有效性

当受害者模型和替代模型的类别相同时（比如都属于DNN，ABCDE分别为5个DNN模型

观察混淆矩阵，其数值为攻击的成功率

对角线处受害者模型和替代模型相同，想当于白盒攻击；而非对角线处二者不同，为黑盒攻击

白盒攻击显然优于黑盒，但同时两者的黑盒攻击都取得了不错的效果（LR更甚

DNN的攻击
LR的攻击

3.2替代模型选取

当时受害者模型和替代模型不一定处于同一类别模型时（比如受害者是DNN，而替代模型是LR

旨在探究不同模型之间的拟合能力

实验测试两种替代模型，分别为DNN、LR，测试替代模型对受害者模型的拟合能力

从实验结果来看，DNN、LR对非同一类别模型也有不错的拟合能力，除了决策树

作者推测可能是决策树不可微分的原因

DNN作为替代模型
LR作为替代模型

3.3攻击有效性 

本次实验选取了亚马逊和谷歌作为受害者模型

作者得出两个结论：

  1. PSS+RS可以减少查询次数
  2. LR比DNN作为替代模型更优
亚马逊（上），谷歌（下）

小黄要当程序员
关注
专栏目录
【论文学习】（二）Hybrid Batch Attacks: Finding Black-box Adversarial Examples with Limited Queries论文学习
qq_38391210的博客
05-16 485
论文脉络 Hybrid Attack：Transfer Attack（黑盒攻击的一种，白盒攻击应用于本地模型）+Optimization Attack（黑盒攻击的一种，估计梯度并且基于梯度攻击） Transfer Attack只需要对于目标模型做一次查询，但是攻击成功率低，transfer loss会比较大，尤其是对于有目标攻击的成功率更低。Transfer Attack又进一步分成两种，一种是可以获得有相同数据分布的预训练模型，就不需要再训练了；一种是替换攻击，可以获得目标模型的训练数据，但是需要对目标模
黑盒攻击很难？元学习提高"黑盒对抗攻击"成功率
我爱计算机视觉
04-12 1190
关注公众号，发现CV技术之美本文分享论文『Boosting Black-Box Adversarial Attacks with Meta Learning』，元学习提高黑盒对抗攻击。详细信息如下：论文链接：https://arxiv.org/abs/2203.14607 01 引言在深度学习中，黑盒攻击是对抗攻击中最难的一种攻击方式，它不像白盒攻击可...
【论文翻译】高效的基于决策的人脸识别黑盒对抗攻击
Mrong1013967的博客
06-07 1855
摘要 近年来，由于深度卷积神经网络的巨大进步，人脸识别取得了显著的进展。然而，深层中枢神经系统容易受到对抗性例子的影响，这可能在具有安全敏感目的的现实世界人脸识别应用中导致致命的后果。敌对攻击被广泛研究，因为它们可以在部署模型之前识别模型的漏洞。在本文中，我们评估了最先进的人脸识别模型在基于决策的黑盒攻击环境中的鲁棒性，在黑盒攻击环境中，攻击者无法访问模型参数和梯度，只能通过向目标模型发送查询来获得硬标签预测。这种攻击设置在现实世界的人脸识别系统中更为实用。为了提高以往方法的效率，我们提出了一种进化攻击算
white/black-box attack(黑盒白盒攻击基础)
山里娃的博客
03-29 7357
黑盒白盒攻击基础
对抗攻击方法详解：梯度攻击、转移攻击与模型集成攻击
最新发布
qq_22841387的博客
09-27 1277
1. **基于梯度的攻击**是白盒场景下的强大攻击方法，但其对黑盒场景的适应性较差，且容易被对抗训练等防御策略抵消。 2. **基于转移的攻击**通过生成具有迁移性的对抗样本提升了黑盒攻击的成功率，但在新型深度学习架构上效果有限。 3. **模型集成攻击**通过结合多个模型的信息提升了对抗扰动的泛化能力，但需要更多的计算资源，且在利用个体模型的独特性上仍有改进空间。
FeatureSpaceAttack：一种基于风格迁移的针对图片特征空间而非像素空间的黑盒攻击方法
v1716836592的博客
02-19 976
论文：Towards Feature Space Adversarial Attack by Style Perturbation。
AdvFlow：一种基于标准化流的黑盒攻击新方法，产生更难被发觉的对抗样本 | NeurIPS‘20
极市平台的技术博客
12-08 1159
本文提出一种新的黑盒对抗攻击方法AdvFlow，通过利用标准化流来建模对抗样本的数据分布，使得生成的对抗样本的分布和正常样本接近，从而让对抗样本更难被检测出来，打破了对抗样本和正常样本的分布大不相同的固有认知。 论文地址：https://arxiv.org/abs/2007.07435 论文代码：https://github.com/hmdolatabadi/AdvFlow 本文为极市原创投稿，转载请获得授权。 引言 虽然神经网络在很多机器学习任务上都取得了非凡的表现，但是通过对输入样本添加微小的扰动
黑盒攻击（为什么选择基于迁移的攻击）
算法探索之路
06-24 2427
总之，黑盒攻击是在缺乏目标模型完全内部信息的情况下进行的攻击，基于观察模型输入输出的行为进行推断和攻击。基于查询的攻击：基于查询的黑盒攻击通过向目标模型发送一系列特定的查询来获取模型的输出，然后利用这些输出信息进行攻击。基于迁移的攻击：基于迁移的黑盒攻击利用已知模型或数据集的信息来攻击目标模型。综上所述，选择基于迁移的黑盒攻击可以更好地适应模型不可知性的情况，利用已有数据进行攻击，提供更贴近实际场景的评估。基于迁移的攻击可以利用已知模型的特性和行为来推断目标模型的性质，从而更有效地进行攻击。
黑盒攻击和白盒攻击
小姑仔的博客
07-25 2829
白盒攻击 假设我们图像的数组为x，模型已经正确分类到y_true，这时我们需要进行白盒攻击，微小地修改图像数组x使得模型将其分类到y1 给模型输入（x，y1）获取到模型在输入x上的梯度，这里的x便是图像的数组表示 依据梯度，在图像上进行调整，以达到减小误差，判断是否此时模型将其分类到y1 重复2、3步，直到模型将其分类到y1或者超出时间限制 使用的算法主要有两个思想：每次将梯度等比放大，至少最大值达到某个阈值（代码中为7）；同时限定对图像调整的幅度noise在一定范围以内（代码中noise_limit为50
CloudLeak: Large-Scale Deep Learning Models一种黑盒的攻击方法
weixin_40827685的博客
11-16 1462
background state of the art(已有的对比项) solution/contribution(系统还是算法贡献) evaluation conclusion/future work CloudLeak: Large-Scale Deep Learning Models CloudLeak：通过对抗性示例窃取的大规模深度学习模型 ...
《机器学习安全及隐私保护研究进展》学习笔记
pandalai的博客
08-26 2676
文章目录1. 攻击者模型（Adversary Model）1.1 攻击者目标（从 CIA 三方面来看）1.2 攻击者知识1.3 攻击者能力1.4 攻击者策略2. 机器学习安全威胁及防御技术2.1 机器学习常见的安全性威胁：2.1.1 训练阶段的安全威胁1. 投毒攻击（poisoning attack）2.1.2 预测阶段的安全威胁1. 对抗攻击（adversarial attack）2. 白盒攻击...
Improving Adversarial Transferability via Neuron Attribution-Based Attacks.pdf
10-13
Improving Adversarial Transferability via Neuron Attribution-Based Attacks 深度神经网络（DNNs）已经被部署在许多安全关键的实际应用中，如自动驾驶和医疗诊断等。然而，DNNs易受对抗样本的攻击，这些攻击可能...
【论文学习】Hybrid Batch Attacks: Finding Black-box Adversarial Examples with Limited Queries论文学习
qq_38391210的博客
05-15 919
摘要 这篇文章研究的场景是针对只对目标模型有API接口，但是接触不到模型内部信息的黑盒攻击，并且对于API的每次查询都是很昂贵的。之前对于黑盒的对抗攻击包括以下两种：1）使用白盒攻击的手段来转换，寻找对抗样本。2）使用基于优化optimization的攻击。作者提出了hybrid attack，可以同时结合这两种策略，在本地模型中寻找候选的对抗样本作为 ...
对抗攻击的类型介绍
tyh70537的博客
05-19 2227
对抗攻击的类型介绍 根据攻击者对目标模型（被攻击的模型）的了解程度不同，已有的对抗攻击大致可以分为两类:白箱攻击和黑箱攻击。 1 白箱攻击 在白箱攻击算法中攻击者知道目标模型的所有信息，包括模型的训练集、类型、结构以及参数。白箱攻击考虑的是在一种对攻击者而言极度理想的情况，虽然高估了攻击者的能力，但是可以用来评估机器学习模型的安全性的下限。此外，白箱攻击能够和后面将会提到的“基于迁移的攻击”相结合，因此研究白箱攻击意义还是很大的。 2 黑箱攻击 在黑箱攻击中，攻击者不知道目标模型的内部细节，只能够观察目标模
【对抗攻击论文】黑盒开篇：Practical Black-Box Attacks against Machine Learning
ji_meng的博客
06-23 1894
作为黑盒攻击的开篇，本文是基于迁移的黑盒攻击。由于不知道目标模型的内部结构，所以采用一个合成的数据集来训练一个本地替代模型DNN，接着采用雅可比数据增强的方式利用数据在目标模型上的输出更新数据集，再进行模型训练，以建立一个近似于oracle模型O的决策边界的模型F。 Sρ+1={x⃗+λ⋅sgn(JF[O(x⃗)]):x⃗∈Sρ}∪SρS_{\rho+1}=\{ \vec{x}+\lambda \cdot sgn(J_F[O(\vec{x})]):\vec{x} \in S_{\rho} \} \cup S
黑盒攻击的分类_「图像分类」图像分类中的对抗攻击是怎么回事？
weixin_39603613的博客
12-23 631
欢迎大家来到图像分类专栏，深度学习分类模型虽然性能强大，但是也常常会因为受到小的干扰而性能崩溃，对抗攻击就是专门研究如何提高网络模型鲁棒性的方法，本文简要介绍相关内容。作者 | 郭冰洋编辑 | 言有三1 简介对于人类而言，仅仅通过所接收到的视觉信息并不能完全帮助我们做出正确、迅速的判定，还需要结合我们的生活经验做出相应的反应，以确定哪些信息是真实可靠的，而哪些信息是虚假伪造的，从而选取最适合的信息...
网络与系统安全4.1 基于随机搜索的黑盒对抗攻击方法
爱学习爱运动的专栏
05-30 807
1 摘要 神经网络模型容易受到对抗样本的攻击，根据攻击者是否能获取到模型内部参数可以把攻击类型分为白盒攻击和黑盒攻击。 白盒攻击比较常见，但其对目标模型的威胁程度要远低于黑盒攻击。 传统黑盒攻击往往都是基于梯度实现的，并且具有查询次数高、攻击时间长以及成功率低的缺点。 针对这一问题，本文讨论了一种高效查询的黑盒对抗攻击算法，该黑盒攻击也被称为平方攻击，具体内容如下： 平方攻击选择局部方形更新在随机位置，以便在每次迭代中，扰动大约位于可行集的边界处； 平方攻击是一种基于分数的黑盒对抗攻击，具有不依赖于模
不是你不懂黑盒攻击，而是你还不懂SurFree
Moyun_vackbot的博客
04-11 5892
本文介绍的SurFree是一种基于几何原理的对抗攻击算法，可以在最苛刻的条件下，即基于黑盒决策的攻击，仅依赖最终的分类标签来大幅减少查询花销。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值