【每日论文阅读】Do Perceptually Aligned Gradients Imply Robustness?

已于 2024-01-08 14:21:10 修改
阅读量665 收藏 12
点赞数 6
分类专栏： 模型攻击 写作 灵感论文阅读 文章标签： 论文阅读
于 2024-01-08 14:13:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/prinTao/article/details/135455999
版权
研究发现，感知对齐梯度(PAG)与鲁棒分类器的稳健性存在紧密联系。通过直接推广PAG在模型训练中的应用，实验显示对齐梯度的模型对抗攻击更稳健，揭示了两者间的双向影响。这有助于改进现有的对抗训练技术以增强模型鲁棒性。
摘要由CSDN通过智能技术生成

近似人眼梯度
https://icml.cc/virtual/2023/oral/25482

对抗性鲁棒分类器具有非鲁棒模型所没有的特征——感知对齐梯度（PAG）。它们相对于输入的梯度与人类的感知非常一致。一些研究已将 PAG 确定为稳健训练的副产品，但没有一篇研究将其视为一种独立现象，也没有研究其自身的影响。在这项工作中，我们关注这一特征并测试感知对齐梯度是否意味着鲁棒性。为此，我们制定了一个新的目标，在训练分类器中直接推广 PAG，并检查具有此类梯度的模型是否对对抗性攻击更稳健。对多个数据集和架构的大量实验验证了具有对齐梯度的模型表现出显着的鲁棒性，揭示了 PAG 和鲁棒性之间令人惊讶的双向联系。最后，我们表明更好的梯度对齐可以提高鲁棒性，并利用这一观察结果来提高现有对抗训练技术的鲁棒性。

在这里插入图片描述
在这里插入图片描述
噪音图-》目标类图。人言认同的方向走，因此是人言对齐梯度。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
利用范数做
在这里插入图片描述

prinTao
关注
  • 6
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图像生成论文阅读：Latent Diffusion算法笔记
qq_43631268的博客
05-05 1559
通过将图像的产生过程分解成去噪自编码器的连续应用，扩散模型（DM）在图像数据和其它方面实现了SOTA的合成结果。此外，它们的产生允许一个引导机制来控制图像生成过程，无需重新训练。然而，由于这些模型通常直接在像素空间中操作，优化强效的DM通常需要消耗数百个GPU天，并且由于顺序评估因而推理是昂贵的。为了能够在有限的计算资源上训练DM，同时保留它们的质量和灵活性，我们将它们应用到强大的预训练自编码器的潜在空间中。
如何在科研论文中画出漂亮的插图？
机器学习算法那些事
10-28 975
【导读】今天给大家推荐几种在论文中如何画出漂亮的插图的方法，附代码实践，还在等什么，赶紧去一探究竟吧！作者｜冯昱尧https://www.zhihu.com/question/21664...
语音合成论文优选：Perceptually Guided End-to-End Text-to-Speech With MOS Prediction
低调奋进
08-27 238
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。文章同列统计可访问。http://yqli.tech/page/tts_paper.html 如有转载，请标注来源。欢迎关注微信公众号：低调奋进 Perceptually Guided End-to-End Text-to-Speech With MOS Prediction 本文为韩国科学技术高等研究院电气工程学院在2021.08.19更新的文章，主要使用MOSNet增加perceptual.
图像复原的损失函数总结——Loss Functions for Image Restoration with Neural Networks论文阅读
热门推荐
qq_42079689的博客
11-13 1万+
Loss Functions for Image Restoration with Neural Networks摘要损失函数L1 LossSSIM LossMS-SSIM Loss最好的选择：MS-SSIM + L1 Loss结果讨论损失函数的收敛性SSIM和MS-SSIM的表现 该论文发表于 IEEE Transactions on Computational Imaging 2016，点击论...
Speech Enhancement Based on Perceptually Motivated Bayesian Estimators
04-08
本论文的标题为《基于感知动机的贝叶斯估计器的语音增强》，由美国德克萨斯大学达拉斯分校的Philipos C. Loizou教授撰写，属于语音降噪领域的国外经典文献。在这篇文章中，Loizou教授探讨了传统的最小均方误差（MMSE...
风格迁移相关论文阅读笔记
北落师门XY的博客
06-20 1万+
《图像和视频油画风格化研究》 西安交通大学 2011年 论文网址： http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFD2011&filename=JSJA201106003&uid=WEEvREcwSlJHSldRa1FhcTdWajFtOTIvT3Q2OWpaOGd6eWNTcmg1...
Development of a perceptually calibrated objective metric of noise
11-07
yield perceptually relevant variances and covariances in CIE L*a*b* space. Because the frequency weighting function is expressed in terms of cycles per degree at the retina, it accounts for display ...
Your Diffusion Model is Secretly a Zero-Shot Classifier论文阅读笔记
Rising_shit的博客
08-31 1141
Your Diffusion Model is Secretly a Zero-Shot Classifier论文阅读笔记
【论文阅读】LJP法律判决预测论文笔记
Summerison的博客
09-01 935
LJP论文阅读笔记。
【论文阅读】Single-Stage Visual Query Localization in Egocentric Videos
weixin_57974242的博客
08-31 1129
因此，VQLoC 联合建模查询与每个视频帧之间的查询到帧关系以及邻近视频帧之间的帧到帧关系（见图 1，右），然后在单帧中执行时空定位。阶段和端到端可训练的方式。具体来说，我们通过使用 DINO [34] 预训练的 ViT 主干提取视觉查询和每个视频帧的图像特征，并使用交叉注意力变换器模块 [45] 建立图像之间的对应关系，从而建立查询与帧的关系查询和视频帧中的区域。重要的是，我们的模型在单阶段运行，即没有具有专用后处理步骤的中间定位输出，并且是端到端可训练的，因为它仅使用可微分模块来获得最终预测。
【论文阅读】SwiftTheft: A Time-Efficient Model Extraction Attack Framework（2024）
Glass_Gun的博客
09-03 719
这份文件是一篇关于人工智能安全领域的研究论文，标题为“SwiftTheft: A Time-Efficient Model Extraction Attack Framework Against Cloud-Based Deep Neural Networks”，作者是来自中国武汉大学和浙江大学的研究人员
【论文阅读】QUEEN: Query Unlearning against Model Extraction（2024）
Glass_Gun的博客
08-30 1351
disruption-based defenses，基于中断的防御。Model extraction attacks，模型提取安全。sensitivity measurement，灵敏度测量。AI security，人工智能安全。
[论文笔记] LLaVA
心宝的博客
09-02 228
把 Image + Instruction 给到 LLaVA，把 GT 的 Image description 和 Instruction 给到 Text-only 的 GPT-4。如图中所示，对于每张图片都会生成一份多轮对话数据，包含 query 和 answer 部分，整体组织成一个序列 (q1, a1, q2, a2, qT, aT)，所有的 answer 作为模型回答，第一轮指令随机选择 (q1, 图片) 或者 (图片, q1)，后面就直接使用对应轮次 qT 了。Projection：使用。
【论文笔记】Multi-Task Learning as a Bargaining Game
xhyu61的博客
09-02 1177
你这蠢货！！就是亲兄妹才好啊！！——《不时轻声地以俄语遮羞的邻座艾莉同学》周防有希
【论文阅读】01-Survey on Temporal Knowledge Graph
最新发布
Mr_GYF的博客
09-05 531
目前有两种方法:基于距离模型的嵌入变换方法和基于语义匹配模型的双线性模型。它们的思想都是将包含实体和关系的知识图谱嵌入到连续的低纬度实向量空间中时间知识图的推理有两种，第一种是插值，对于时间从到t0到tT的时间知识图，插值的任务是补全时间t从到t T之间缺失的事实。第二种是外推，它的主要任务是预测时间t0 > tT的新事实。我们专注于外推任务，因为基于已知知识图中的事实预测未来时间的新事实有助于人类理解事件中的隐藏因素并对可能的未来事件做出反应，这可以应用于救灾或金融分析。
[论文笔记] LLM大模型剪枝篇——1、调研
心宝的博客
09-02 291
LLaMA2在剪枝时，跳过ffn和跳过full layer的效果差不多。相比跳过ffn/full layer，跳过attention layer的影响会更小。跳过attention layer：7B/13B从100%参数剪枝到66%，平均指标只下降1.7～1.8pp。跳过ffn：7B/13B从100%参数剪枝到66%，平均指标下降了12.2～15.1pp。跳过full later：7B/13B从100%参数剪枝到66%，平均指标下降了12.2～13pp。
论文笔记: 智能电力系统综述
BINGO's BLOG
09-03 630
电力调度是智能电网运行的一大核心问题，其目的是在满足时空变化的电力负荷条件下提供电网的最优运行点。这一功能需要在一天内每隔几分钟运行一次，因此快速、准确的调度决策方法至关重要。但是，由于问题的复杂性，可靠且高效的决策方法仍在不断探索的过程中。随着可再生能源的大规模并网以及灾害性气候的不断恶化，智能电网对调度决策方法提出了更为严苛的要求。近年来，以深度学习为代表的人工智能方法在不少领域取得巨大成功，因此深度学习也被电气工程领域寄予厚望，国内外研究者开始重新思考智能电网的调度决策问题。
python实现Perceptually Important Points 算法
01-11
Perceptually Important Points (PIP) 是一种用于计算图像中最重要的点的算法。它可以帮助我们找出图像中最引人注目的区域。 要在 Python 中实现 PIP 算法，你可以使用一些开源库，例如 scikit-image。 首先，你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值