【学习】adversarial attack、evasion attacks

最新推荐文章于 2024-05-03 18:12:34 发布
最新推荐文章于 2024-05-03 18:12:34 发布
阅读量614 收藏 1
点赞数
文章标签： 学习 深度学习 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raphael9900/article/details/128490892
版权

adversarial attack

动机

你训练了很多神经网络。我们试图在现实世界中部署神经网络。网络对于为愚弄它们而构建的输入是否具有鲁棒性？对于垃圾邮件分类、恶意软件检测、网络入侵检测等非常有用。
在这里插入图片描述

一、adversarial attack

分类：
在这里插入图片描述
在这里插入图片描述
计算两种攻击的Loss
在这里插入图片描述
用以下来计算两张图片的距离：下面两个方法都要小。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

sign函数里，如果值大于0为1，小于0为-1.
在这里插入图片描述
在之前的攻击中，我们知道网络参数，这被称为白盒攻击。您无法在大多数在线API中获取模型参数。如果我们不发布模型，我们安全吗？不会，因为黑盒攻击是可能的。
如果你有目标网络的训练数据，自己训练一个代理网络，使用代理网络生成被攻击的对象
在这里插入图片描述
黑箱攻击容易成功
在这里插入图片描述
改变一个像素：
在这里插入图片描述
同一个地方的噪声能够攻击很多图片
在这里插入图片描述
语音和NLP上的攻击：
在这里插入图片描述真实世界的攻击：
在这里插入图片描述

攻击者需要找到超越单一图像的扰动。
摄像机不可能准确捕捉到扰动中相邻像素之间的极端差异。
希望制作主要由打印机可再现的颜色组成的扰动。
在这里插入图片描述
在这里插入图片描述
寄生攻击方法：
在这里插入图片描述
训练的时候攻击：
在这里插入图片描述

防御

主动防御和被动防御
在这里插入图片描述
图片做点模糊化就行
在这里插入图片描述
压缩、generator
在这里插入图片描述
模糊化会被很容易破解，那假如随机性就好了（任意改变）
在这里插入图片描述
找漏洞填补：
在这里插入图片描述
问题：不一定能挡住新攻击，需要很大的运算资源

二、evasion attacks

一个有效的对抗样本应该满足什么？
与袭击目标高度相关
原始样本和扰动样本之间的重叠
扰动样本的语法性
语义保持

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
流利程度由预先训练的语言模型的困惑程度来评分（PPL越小出现情况越高）
在这里插入图片描述
转换样本和原始样本之间的语义相似性
交换单词嵌入和原始单词嵌入的距离
如何选择这个门限？
在这里插入图片描述
在这里插入图片描述

三、搜索方法

在这里插入图片描述
规避攻击:搜索方法
找到实现目标和满足约束的扰动
贪婪搜索
单词重要性排序的贪婪搜索(WIR)
遗传算法

贪婪搜索

对每个位置的每个转换进行评分，然后按照分数递减的顺序替换单词，直到预测翻转
在这里插入图片描述

单词重要性排序的贪婪搜索(WIR)

第一步:给每个单词的重要性打分；第二步:从最重要的单词到最不重要的单词进行交换
在这里插入图片描述
在这里插入图片描述
通过留一法leace-one-out(LOO)对单词重要性进行排序:看看事实是怎样的当单词从输入中移除时，概率降低
在这里插入图片描述
在这里插入图片描述

遗传算法

遗传算法:基于适应度的进化和选择
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

textFooler

在这里插入图片描述
在这里插入图片描述

PWWS

在这里插入图片描述

其他

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
TF-Adjusted:他们提出了一个具有更强约束的TextFooler的修改版本
在这里插入图片描述
通过改变动词、名词和形容词的屈折形式进行单词替换
在这里插入图片描述

universal trigger

与任务无关的触发字符串，但当添加到原始字符串时，可以执行有针对性的攻击
在这里插入图片描述
步骤1:确定触发器需要多少个单词，并用一些单词初始化它们
第二步:反向获得每个触发词嵌入的梯度，并找到最小化目标函数arg min(ei–EO)Ve C iEVocab的标记
在这里插入图片描述
步骤3:用新找到的单词更新触发器
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
假新闻分类器，当触发器“%@”在输入中时，它会将输入分类为“非假新闻”
在这里插入图片描述

Raphael9900
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Adversarial Attack.pdf
06-27
台大机器学习李宏毅PPT
PWWS开源代码各部分理解
weixin_44614631的博客
03-12 1259
这一部分是PWWS攻击方法的开源代码（地址在https://github.com/JHL-HUST/PWWS）中几个重点文件的梳理。主要用于记录自己的思路，还有一部分不太清楚，之后有更多了解再改正，有什么问题的话欢迎在评论区说明。 一、paraphrase.py 变量supported_pos_tags，标签列表，即支持的单词种类； SubstitutionCandiadate类，候选词池类。包含了四个属性，token_position，替换位置；similarity_rank，相似度；origina
机器学习里的攻击-躲避攻击(Evasion attacks)
热门推荐
学渣的博客
12-25 2万+
目录 需要保证其安全三要素（完整性Integrit、可用性Availability、机密性Confidentially）是安全的，如对于一个网络流量包—— 1.其必须是完整的，否则信息就没有意义了——完整性 2.其必须可被接受者所获得和使用，否则这个包也没有意义了——可用性 3.其只能让有权读到或更改的人读到和更改——机密性 那么对于AI系统而言，我们同样可以从AI系统的三要素来进行考虑和分析。如下图所示—— 对于机器学习安全，我们主要讨论其完整性和机密性。 AI的完整性主要是指模型学习和预测的过程完整不
《Adversarial Attacks and Defenses in Deep Learning: From a Perspective of Cybersecurity》论文解读
最新发布
qq_61786525的博客
05-03 644
本文首先强调了深度学习技术在多种任务中的广泛应用和取得的显著成就，尤其是深度学习在图像识别、语音识别、自然语言处理等领域的关键作用。然而，作者们也指出了深度学习模型的一个主要问题：对抗性样本的存在使得深度学习模型的安全性和稳定性受到威胁。对抗性样本是指通过在原始数据中添加精心设计的微小扰动，导致深度学习模型以高概率给出错误预测的样本。这些扰动对于人类来说通常是难以察觉的，但对模型的预测结果却有显著的影响。这种现象在自动驾驶车辆、安全监控等关键领域尤为令人担忧，因为模型的失败可能导致严重的安全事故。
论文分享Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks
qq_26130991的博客
11-05 789
Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks 一、本文主要工作 攻击的迁移性已经被很多文章所揭示，但是并没有给出具体的原因，本文对此进行了详细的分析。 对于两种攻击，逃逸攻击（test-time）和中毒攻击（training-time）。 给出了一种统一优化上述两种攻击的框架 定义了攻击迁移性，并给出攻击成功的理论上界 针对不同分类器（逻辑回归, SVMs,
【论文阅读002】Generating Natural Language Adversarial Examples through ProbabilityWeightedWord Saliency
weixin_44614631的博客
03-23 1466
论文地址：https://www.aclweb.org/anthology/P19-1103/，发表于第57届计算语言学协会年会论文集(2019年7月28日至8月2日)的第1085-1097页。 目录 论文主要工作 已有的工作 创新性 具体方法 问题 对抗样本示例 单词替换 候选词选择 替换策略 效果 评价 论文主要工作 在产生对抗样本，保持词法，语法的正确性和语义的相似性。提出了一种全新的方法：在同义词替换策略的基础上，引入了一种新的由词显著性和分类概率决定的词替换顺序，从而提
adversarial-attacks-pytorch:PyTorch对抗攻击的实现
05-12
对抗攻击PyTorch 是一个PyTorch库，其中包含对抗性攻击以生成对抗性示例。...adversarial_images = atk ( images , labels ) :warning: 预防措施 在用于攻击之前，应使用transform [to.Tensor（）]将所有图像缩放为
A Survey On Universal Adversarial Attack.pdf
09-25
通用对抗攻击（Universal Adversarial Attack，UAP）是一种特殊的对抗攻击，它可以对大多数图像进行攻击，具有很高的攻击成功率。近年来，UAP已经在计算机视觉和机器学习领域引起了广泛的关注。 深度神经网络（Deep...
Adversarial-Attack
05-08
对抗攻击 PoC通过针对CNN（卷积神经网络）模型的对抗性攻击来推导识别域中的错误 作者：郑德贤 状态：完成 核心目标 使用CNN模型中的先前学习的数据（ 이미지넷 ）构建图像...# Adversarial Attack > python hack.py
Adversarial Examples: Attacks and Defenses for Deep Learning
02-20
2019 review and taxonomy on adversarial examples and defenses
Evasion Attack in Adversarial Machine Learning
ColdWindHA的博客
03-05 800
Evasion Attack in Adversarial Machine Learning Evasion Attack旨在不干涉模型任何训练的基础上，设计出让训练好的模型无识别的test case，我们称之为inference-phase adversarial attack，又称为adversarial examples。从分类的角度上，evasion attack可以分为两大类，一类是ℓp\ell_pℓp​ attack​，另一类是Non-ℓp\ell_pℓp​ attack。区别在于，前者在一张正
NLP领域模型对抗攻击简介
qq_44733706的博客
08-08 2002
攻击NLP模型方法的简单总结
【学习】evasion attack训练生成器(自动编码器)生成对抗样本、defense、检测对手、Gumbel-Softmax、模仿攻击imitation attack
Raphael9900的博客
12-31 941
李宏毅机器学习
忽视警告_忽视针对神经网络的网络攻击
weixin_26722031的博客
08-31 2472
忽视警告Artificial neural networks can be thought of as computed biological neural networks. Is it possible to perceive an object as something it is not? If our perception of the outside world is an inter...
对抗攻击（Adversarial attacks）的常用术语
小C的博客
12-22 1万+
【时间】2018.12.22 【题目】对抗攻击（Adversarial attacks）的常用术语 概述      本文是论文《Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey》中Section 2 的翻译，主要讲述了对抗攻击（Adversarial attacks）的常用术语。 一、 对...
对抗机器学习基础（论文学习笔记一）
Evan Hu的博客
03-21 1524
Adversarial ML Foundation（一）文章摘要（Abstract）入侵问题描述（Optimal Evasion）对手模型（Adversary Model）两种攻击场景（Attack Scenarios）攻击策略（Attack Strategy）梯度下降攻击（Gradient Descent Attack）实验结果（Experimental Result） Foundation共有...
Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks论文笔记
XP and Altoria
11-25 2436
Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks论文笔记 0. 概述 如今一些深度神经网络对于一些对抗性样本(Adversarial sample)是弱势的, 对抗性样本就是指我们对输入进行特定的改变, 通过原有的学习算法最终导致整个网络内部出现误差, 这属于攻击的一种, 然而, ...
对抗样本(论文解读四): Adversarial Attacks and Defenses in Images, Graphs and Text: A Review
Enjoy_endless
12-09 3032
准备写一个论文学习专栏，先以对抗样本相关为主，后期可能会涉及到目标检测相关领域。 内容不是纯翻译，包括自己的一些注解和总结，论文的结构、组织及相关描述，以及一些英语句子和相关工作的摘抄(可以用于相关领域论文的写作及扩展)。 平时只是阅读论文，有很多知识意识不到，当你真正去着手写的时候，发现写完之后可能只有自己明白做了个啥。包括从组织、结构、描述上等等很多方面都具有很多问题。另一个是对于专业术语、...
Towards Deep Learning Models Resistant to Adversarial Attacks
04-03
Adversarial attacks are a major concern in the field of deep learning as they can cause misclassification and undermine the reliability of deep learning models. In recent years, researchers have proposed several techniques to improve the robustness of deep learning models against adversarial attacks. Here are some of the approaches: 1. Adversarial training: This involves generating adversarial examples during training and using them to augment the training data. This helps the model learn to be more robust to adversarial attacks. 2. Defensive distillation: This is a technique that involves training a second model to mimic the behavior of the original model. The second model is then used to make predictions, making it more difficult for an adversary to generate adversarial examples that can fool the model. 3. Feature squeezing: This involves converting the input data to a lower dimensionality, making it more difficult for an adversary to generate adversarial examples. 4. Gradient masking: This involves adding noise to the gradients during training to prevent an adversary from estimating the gradients accurately and generating adversarial examples. 5. Adversarial detection: This involves training a separate model to detect adversarial examples and reject them before they can be used to fool the main model. 6. Model compression: This involves reducing the complexity of the model, making it more difficult for an adversary to generate adversarial examples. In conclusion, improving the robustness of deep learning models against adversarial attacks is an active area of research. Researchers are continually developing new techniques and approaches to make deep learning models more resistant to adversarial attacks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值