论文那些事—NESTEROV ACCELERATED GRADIENT AND SCALEINVARIANCE FOR ADVERSARIAL ATTACKS

最新推荐文章于 2025-03-07 17:39:02 发布
最新推荐文章于 2025-03-07 17:39:02 发布
阅读量4.6k 收藏 14
点赞数 4
文章标签： 深度学习 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuweishuwei/article/details/121750938
版权

NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS（ICRL2020,NI-FGSM,SIM）

1、摘要

在本文中，我们从将对抗性例子的生成作为一个优化过程的角度出发，提出了两种提高对抗性例子可转移性的新方法，即Nesterov迭代法快速梯度符号法(NI-FGSM)和缩放不变攻击法(SIM)。NI-FGSM的目标是将Nesterov加速梯度引入迭代攻击中，从而有效地向前看，提高对抗性样本的迁移性。

本文贡献有以下三点：

  1. 将Nesterov加速梯度引入迭代的基于梯度的攻击中，从而有效地超前，提高对抗性例子的转移能力。
  2. 深度学习模型具有缩放不变性，于是通过优化收缩后图像副本上的对抗性扰动来提高对抗样本的迁移性。
  3. 将NI-FGSM和SIM与现有的基于梯度的攻击方法相结合，得到不错的黑盒攻击成功率。

2、NI-FGSM原理

Nesterov Accelerated Gradient (NAG) 是一种梯度下降法的变种，其本质上是动量的改进：

 

 

最低0.47元/天 解锁文章
凉茶i
关注
NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS (翻译，侵删)
bash_winner的博客
01-15 1152
NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS（Nesterov 加速梯度和缩放不变性攻击） 摘要 深度学习模型对于在良性输入的运用人类不可察觉的扰动所构造的对抗样本具有脆弱性。然而，在黑盒设置下，大多数已经存在的攻击攻击其他防御模型时，迁移性不足。在这篇文章中，从生成对抗样本作为一个优化的过程，我们提出了两个新的方法来改善对抗样本的迁移性，命名为 **Nesterov Iterative Fast Gra
Nesterov Accelerated Gradient Descent-Based Convolution Neural Network with Dropout for Facial Expression Recognition
02-08
Nesterov Accelerated Gradient Descent-Based Convolution Neural Network with Dropout for Facial Expression Recognition
深度学习模型组件之优化器--动量优化方法（带动量的 SGD 与 Nesterov 加速梯度）
最新发布
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
03-07 1289
在深度学习模型的训练过程中，选择合适的优化算法对于模型的收敛速度和性能至关重要。动量优化方法在传统优化算法的基础上，通过引入动量项，加速收敛并减小震荡。本文将介绍两种常用的动量优化方法：带动量的随机梯度下降（SGD with Momentum）和 Nesterov 加速梯度（Nesterov Accelerated Gradient, NAG），并将它们与基础优化方法进行对比。
论文笔记《NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS》
qq_39667860的博客
08-11 1204
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
NESTEROV ACCELERATED GRADIENT AND SCALE INVARIANCE FOR ADVERSARIAL ATTACKS论文解读
kking_edc的博客
02-10 3235
摘要 在黑盒设定下，大多数现有的攻击方式转移性较差。在这篇文章中，从将对抗样本的生成看作一个优化过程的角度出发，我们提出两种新的生成对抗样本的方式，称为Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) 以及 Scale-Invariant attack Method (SIM)。NI-FGSM旨在将Nesterov accelerated gradient加入到迭代攻击中，从而有效提高对抗样本的转移性。SIM基于我们对深度学习模型尺度不变性的发现，
ICLR 2020，Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks
算法探索之路
03-13 304
相应地，现有的工作在前者上主要是采用了动量（MI-FGSM），后者主要是模型增强（模型集成攻击）。提高模型泛化性可以分为两类：一是更好的。
ICLR2020 | NI-FGSM&SIM | 用于对抗攻击的 Nesterov 加速梯度和尺度不变性
四口鲸鱼爱吃盐的博客
01-07 1979
本文 “Nesterov Accelerate Gradient And Scale Invariance For Adversarial Attacks” 提出了Nesterov迭代快速梯度符号法（NI-FGSM）和尺度不变攻击法（SIM），将其结合并与其他方法集成，有效提高了对抗样本的迁移性，在攻击各类模型和防御机制时展现出高成功率，为对抗攻击研究提供了新方法和思路。
论文笔记： 对抗样本 CVPR2021 Enhance Transferability of Adversarial Attacks through Variance Tuning
weixin_43184082的博客
08-23 3581
这里写自定义目录标题Abstract 摘要1. Introduction 引言背景引入2. 相关工作 Related Work 论文作者： Xiaosen Wang Kun He 作者单位： School of Computer Science and Technology, Huazhong University of Science and Technology 作者邮箱： {xiaosen,brooklet60}@hust.edu.cn 源代码：https://github.com/JHL-HUS
对抗样本方向（Adversarial Examples）2018-2020年最新论文调研
热门推荐
huitailangyz的博客
06-15 1万+
调研范围 2018NIPS、2019NIPS、2018ECCV、2019ICCV、2019CVPR、2020CVPR、2019ICML、2019ICLR、2020ICLR 2018NIPS Contamination Attacks and Mitigation in Multi-Party Machine Learning（防御） 作者：Jamie Hayes(Univeristy College London) Olga Ohrimenko(Microsoft Research) 摘要：Machine
科研篇(11)：ICLR20 分类整理-对抗样本&Meta-Learning
weixin_38316806的博客
05-13 1984
文章目录一、对抗样本1.1Enhancing Transformation-Based Defenses Against Adversarial Attacks with a Distribution Classifier .1.2 Implicit Bias of Gradient Descent based Adversarial Training on Separable Data1.3 Mixup Inference: Better Exploiting Mixup to Defend Advers
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
adv_inception_SI_NI_FGSM.rar
01-26
SI_NI_FSGM预训练模型第一部分，包含ADV_INCEPTION, V2, V3, V4
Nesterov Accelerated Gradient
weixin_30586257的博客
03-22 1070
比Momentum更快：揭开Nesterov Accelerated Gradient的真面目 转自：https://zhuanlan.zhihu.com/p/22810533 作为一个调参狗，每天用着深度学习框架提供的各种优化算法如Momentum、AdaDelta、Adam等，却对其中的原理不甚清楚，这样和一条咸鱼有什么分别！（误） 但是我又懒得花太多时间去看每个优化算法的原始论文，...
Nesterov加速梯度（Nesterov Accelerated Gradient，NAG）
qq_25426809的博客
05-08 927
Nesterov加速梯度（Nesterov Accelerated Gradient，NAG）是一种用于优化问题的迭代算法，具有更快的收敛速度。NAG通过在梯度下降的更新步骤中引入“瞄准”项来实现加速。相比于标准梯度下降算法，NAG在每次迭代中考虑了上一次的更新，从而使梯度下降的方向更加精确，能够更快地接近目标函数的极小值。
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)
ChasingdreamLY的博客
03-24 1450
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste
Nesterov加速梯度算法
Hilda121的博客
06-19 1541
Nesterov加速梯度算法（Nesterov Accelerated Gradient，简称NAG）是优化领域中一种改进的梯度下降方法，由Yurii Nesterov于1983年提出。该算法的核心思想是在计算当前梯度之前，先使用上一次的动量更新进行预测，从而加速梯度下降的收敛速度。
综述Nesterov加速梯度法
qq_16032927的博客
03-10 2574
本文综述了Nesterov加速梯度法的主要内容（非正式的综述方式）
Nesterov加速梯度法 (NAG, Nesterov Accelerated Gradient) 算法详解及案例分析
qq_42568323的博客
02-05 2163
Nesterov加速梯度法 (NAG) 是一种高效的优化算法，通过引入“前瞻”机制加速收敛并减少震荡。本文通过三个案例展示了 NAG 在线性回归、逻辑回归和神经网络训练中的应用，并提供了完整的代码实现和优化曲线。在实际应用中，NAG 的性能依赖于动量系数和学习率的选择，需要通过实验进行调整。
Nesterov加速梯度下降：革命性的算法，超越传统梯度下降
AI天才研究院
07-05 6741
Nesterov加速梯度下降（Nesterov Accelerated Gradient，简称NAG）是一种优化算法，由Yurii Nesterov在1983年提出。它是一种改进的梯度下降法，通过引入一个“动量”项，使得参数更新在梯度方向上有一定的“惯性”，从而加速收敛。NAG算法在深度学习中被广泛应用，尤其是在训练深度神经网络时，NAG算法往往能够比传统的梯度下降法更快地找到最优解。NAG算法的基本思想是在计算梯度时，不仅考虑当前位置，还考虑之前的更新方向。
nesterov accelerated gradient
03-16
Nesterov加速梯度算法是一种优化算法，它是基于梯度下降算法的改进版本。它通过引入动量来加速收敛速度，并且在计算梯度时使用了预测的下一步位置来调整梯度方向，从而减少了震荡和振荡的情况。这种算法在深度学习中得到了广泛的应用，可以加速神经网络的训练过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值