【论文推荐】了解《对抗学习》必看的6篇论文（附打包下载地址）

最新推荐文章于 2025-02-27 11:39:16 发布
最新推荐文章于 2025-02-27 11:39:16 发布
阅读量974 收藏 4
点赞数
文章标签： 神经网络 网络 大数据 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48294000/article/details/123196279
版权

2dddb1ddb0a115c3c2c15530b38c7c7d.png

论文推荐

“SFFAI139期来自美国莱斯大学的傅泳淦推荐的文章主要关注于基础研究的对抗学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI139"获取本主题精选论文

01

b2ea69533f656fc3959522639d545c9d.png

The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks [Jonathan Frankle, et al.]

推荐理由：这篇论文是ICLR 2019的最佳论文，发现了神经网络存在彩票现象，即一个过参数化的神经网络中存在子网络可以被单独训练而达到和原网络一致的准确率。

02

de3679513569f3d61a4584d2c27ecb97.png

What's Hidden in a Randomly Weighted Neural Network? [Vivek Ramanujan, et al.]

推荐理由：这篇伦文发现了随机初始化网络中的强彩票现象，即随机初始化网络中存在子网络可以不用被训练，而天生具有一定的准确率。


03

0efe4db957e08d5371b59ec87efa4fd0.png

Explaining and Harnessing Adversarial Examples [Ian J. Goodfellow, et al.]

推荐理由：这篇论文是对抗性样本的开山之作，分析了对抗性样本的存在性并给出了生成对抗性样本的方法。

04

5469c6a784e10fb627197036705604f2.png

Towards Deep Learning Models Resistant to Adversarial Attacks [Aleksander Madry, et al.]

推荐理由：这篇论文提出了目前最常用的对抗性样本生成方法之一，以及SOTA对抗性学习方法，即在训练过程中即时生成对抗性样本来做数据增强。

05

d683f29b649d2d29c98fb13f2bcf63bc.png

Adversarial Robustness vs. Model Compression, or Both? [Shaokai Ye, et al.]

推荐理由：这篇论文分析了神经网络剪枝和鲁棒性之间的关系，发现简单地结合模型剪枝和对抗性训练会让鲁棒性下降。

06

9d30e078240d79628a1fbcd5483da2a7.png

Double-Win Quant: Aggressively Winning Robustness of Quantized Deep Neural Networks via Random Precision Training and Inference [Yonggan Fu, et al.]

推荐理由：这篇论文发现了同一神经网络在不同量化精度下具有较差的对抗性样本迁移性，并由此提出了一种随机精度推理方法来同时保证高效性和鲁棒性。

21af8fdd076294977ddf6503b46ee536.png

分享内容

分享简介

深度神经网络已被发现容易受到对抗性样本的影响，即一个人眼不可见的扰动会让神经网络做出错误的预测，对抗训练也因此被提出，通过在原始训练图片中混入即时生成的对抗性样本来提升模型的鲁棒性。本期讲者傅泳淦同学的工作首次发现了一个有趣的现象：在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络，即使没有经历过对抗训练，它们也能够和类似参数量且对抗训练后的模型达到一致的鲁棒性。

讲者介绍

傅泳淦，美国莱斯大学博士生，本科毕业于中国科学技术大学少年班学院，现导师为Yingyan Lin教授,主要研究方向是通过协同设计AI算法(剪枝，量化，神经网络搜索，对抗训练)和加速器架构，提升AI应用(分类，超分辨，语音识别)的高效性和鲁棒性，目前已在NeurIPS, ICML, ICLR, ICCV, MICRO等AI算法和架构会议中发表过10+篇一作论文。

分享题目

鲁棒彩票现象：藏在随机初始化神经网络中的鲁棒子网络

分享摘要

在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络，即使没有经历过对抗训练，它们也能够和类似参数量且对抗训练后的模型达到一致的鲁棒性。这个现象反映出对抗训练对于提升模型的鲁棒性并不是不可或缺的，我们把这种子网络叫做鲁棒彩票(Robust Scratch Ticket)。为了更好的研究和应用鲁棒彩票现象，我们做了大量的实验去研究鲁棒彩票的存在性和性质，来理解神经网络鲁棒性和初始化和过参数化的关系。我们进一步发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段。我们的工作为研究神经网络彩票现象和鲁棒性的关系提供了一个新的角度。

9971f458ddb00ae738b7126a814b9a88.png

题目：Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

论文下载：关注本公众号，对话框回复“SFFAI139”，获取下载

分享亮点

1. 我们首次发现了鲁棒彩票的存在性，即在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络；

2. 我们提出了一种通用方法来从随机初始化网络中搜索鲁棒彩票，并针对鲁棒彩票的存在性和其他性质做了详细的实验，来为神经网络的鲁棒性和初始化、过参数化的关系提供启发；

3. 我们发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段，来大幅增加给定神经网络的鲁棒性。

直播时间

2022年3月6日（周日）20:00—21:00 线上直播

关注本公众号，对话框回复“SFFAI139”，获取入群二维码

注：直播地址会分享在交流群内

SFFAI招募！

57f766bdcd911bb80d3b6d035c6d11c7.png

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

3da7c4c981a4cc4681d817918f111518.png

3a578ffbc38c1a66495028141dfa8e4d.png

0abb3c31e3fefa2cbaa717c654deebf1.png

effcd7f17f8cb79ed9c24a5a6301952c.png

论文推荐

更多论文推荐历史文章

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！

[论文]鲁棒的对抗性强化学习
wangyifan123456zz的博客
02-28 2597
[论文]鲁棒的对抗性强化学习摘要1.简介1.1RARL综述2.背景2.1 MDPs中的标准强化学习2.2 两人零和折扣游戏3.鲁棒的对抗式RL3.1 对抗智能体的鲁棒控制3.2 提出方法:RARL结论 摘要 深度神经网络与快速模拟和改进的计算相结合，导致了最近在强化学习领域的成功。然而，目前大多数基于学习策略的方法不能推广，因为:(1)仿真和现实世界之间的差距太大，策略学习方法不能转移；(b)即使在现实世界中进行政策学习，数据稀缺也会导致从训练到测试场景的泛化失败(例如，由于不同的摩擦或物体质量)。受H∞控
【论文推荐】了解《对抗机器学习》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
12-19 1166
论文推荐“SFFAI133期来自伊利诺伊大学香槟分校博士三年级在读的杨卓林推荐的文章主要关注于基础研究的对抗机器学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章...
对抗学习课的论文
JN102的博客
07-07 372
一周写一篇论文，老师真的太看得起我们了。 虽然只是写一下idea，但是我一个连机器学习课都还没上完的人真是觉得头大。在厚着脸皮和大腿们讨论之后，又拿着老师的课程大纲找了几篇论文，但两三天时间实在不够，勉强写了一些introduction和related work就交了QAQ。 ...
对抗学习在安全领域的应用
最新发布
shandongjiushen的博客
02-27 553
为了帮助大家更好的学习网络安全，小编给大家准备了一份网络安全入门/进阶学习资料，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂，所有资料共282G，朋友们如果有需要全套网络安全入门+进阶学习资源包，可以点击免费领取（如遇扫码问题，可以在评论区留言领取哦）~😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓👉CSDN大礼包🎁：全网最全《网络安全入门&进阶学习资源包》免费分享（安全链接，放心点击）👈。
最新最全深度对抗学习论文合集
AI_Conf的博客
01-19 285
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.
对抗样例论文学习一
下一站十字路口
12-25 721
对抗样例的主要主要思想就是在神经网络的输入端加入一个不以觉察的小扰动，但是在经过神经网络预测后造成误判。 这样的样本叫做 adversarial example（对抗样本）。 以下主要针对对抗样例的一些paper进行解读： 第一篇对抗样例文章： Christian Szegedy等人在2014年发表一篇文章，Intriguing properties of neural networks
对抗学习必读论文集推荐-AMiner
AI_Conf的博客
11-19 283
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 对抗学习是一种很新的机器学.
【论文推荐】了解《动态联邦学习》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
03-27 4526
论文推荐“SFFAI142期来自美国西北大学的王礼旭同学推荐的文章主要关注于基础研究的动态联邦学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复"SFFAI142"获取本主题精选论文01Federated Continual Learning with Weighted Inter-client Transfer (ICML 2021)...
【论文推荐】了解《通信强化学习》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
02-11 940
论文推荐“SFFAI136期来自北京邮电大学的于会涵推荐的文章主要关注于深度强化学习的通信强化学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复"SFF...
了解《对抗样本》必看的6篇论文【附打包下载地址】
weixin_48294000的博客
08-09 852
论文推荐“《SFFAI 77期-对抗样本专题》来自西安电子科技大学的李茂森同学推荐的文章主要关注于对抗样本领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号...
【论文推荐】了解《点云补全》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
09-05 2093
论文推荐“SFFAI122期来自伊利诺伊大学厄巴纳香槟分校计算机系的谢楚琳推荐的文章主要关注于计算机视觉的点云处理领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公...
dcgan_mnist（对抗学习）
03-14
提供详细的对抗学习的python程序，并提供具体实例验证，
对抗对比学习の论文
whaosoft143ai的博客
12-22 597
基础模型 （foundation models）[1]是通过在大规模未标记数据集上进行自监督预训练 （self-supervised learning）得到的，可以通过微调 （fine-tuning）迁移到广泛的下游任务。这种对抗攻击的存在驱动我们去开发鲁棒的基础模型 （robust foundation models），该模型可以在安全关键的下游任务中具有很好的泛化性 （generalization ability）和对抗鲁棒性 （adversarial robustness）。PGD生成对抗数据过程。
MM2020 | 基于对抗学习的个性化标签推荐
张小磊的博客
10-18 377
嘿，记得给“机器学习与推荐算法”添加星标本文分享一篇利用对抗学习的思路来进行个性化标签推荐的文章，其已经发表于2020年的ACM Multimedia（MM）会议上，MM会议是CCF推荐国...
ICML(2020)对抗学习论文汇总
zenRRan的博客
02-11 621
点击上方，选择星标，每天给你送干货！来自 |知乎作者 |GeorgeLee地址 |https://zhuanlan.zhihu.com/p/145624170编辑 |机器学习算法与...
对抗学习
weixin_39940694的博客
11-09 266
对抗学习 主体内容参考 再embending上加入一个扰动，满足扰动最大但是求解的loss还是最小。其中扰动最大在函数外部做好了，认为沿着梯度上升的方向是扰动最大方向。因为梯度下降是最好的，那上升就是破坏最严重的。 先去改变了embending的值，方法是embending+梯度上升。最后更新的时候恢复embending的值data。让正常的参数的梯度加上扰动的参数梯度。等效于加入扰动。 对pytorch训练模型三部必须操作理解更深刻。参考， loss.backward()仅仅是求解梯度。
对抗样例论文学习三
下一站十字路口
01-02 663
adversarial examples in the physical world 这是 Goodfellow 在ICLR 2017会议上的论文。 目前攻击样例，攻击者均是直接对抗图像喂给分类器，但是这个在现实世界中可能不是那么容易。所以作者模拟了通过相机捕捉的对抗图像，观察现实世界中的对抗效果。因为经过照相和打印，会对原有图像进行了些许的扰动，可能会影响攻击的效果。 作者使用谷歌Ince
对抗机器学习论文-Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）
m0_57572083的博客
10-16 1747
对抗机器学习论文-Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）
对抗样本论文学习：Deep Neural Networks are Easily Fooled
故事我有，我不喝酒
11-14 1710
近日看了一些对抗样本（adversarial examples）方面的论文，在这里对这些论文进行一下整理和总结。 以下仅代表个人理解，本人能力有限难免有错，还请大家给予纠正，不胜感激。欢迎一起讨论进步。 对抗样本（adversarial examples）和对抗学习（GAN）截然不同，这一概念在Szegedy et al. (2014b)中提出：对输入样本故意添加一些人无法察觉的细
机器学习对抗：恶意软件如何规避Bot检测
这篇论文深入剖析了恶意软件与机器学习模型之间的博弈，揭示了安全领域的动态性，并指出了解决这一问题所需的技术和策略方向。这不仅是对网络安全实践者的警示，也是对理论研究者的一个挑战，要求他们在追求机器学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值