![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
人工智能顶会论文解读
文章平均质量分 94
各种顶会文论解读
懒惰才能让科技进步
中科院在读博士一枚
展开
-
人工智能顶会CVPR2022《革新AI预训练:探索KDEP及其在知识蒸馏中的破局之道》论文解读
KDEP(Knowledge Distillation as Efficient Pre-training)在论文 “Knowledge Distillation as Efficient Pre-training” 中提出,主要聚焦于通过知识蒸馏实现高效的模型预训练。原创 2023-12-25 15:08:53 · 1002 阅读 · 1 评论 -
CVPR2022《Improving the Transferability of Targeted Adversarial Examples through Object-Based》论文解读
高度可移动的对抗性示例意味着针对一个模型制作的示例很可能也会成功地攻击另一个模型,即使这些模型有不同的架构或使用不同的数据集进行训练。因此,提高对抗性示例的可移动性对于评估人工智能系统在多变和不可预测的实际环境中的鲁棒性至关重要。总结来说,尽管以往的研究在提高对抗样本的迁移性方面取得了一定进展,但仍存在对特定模型过度优化、实际应用的复杂性和效率问题等局限性。通过这些步骤,ODI方法能够在不同的渲染环境中(包括不同的照明和视角)有效地提高目标对抗性示例的迁移性。作为最终的对抗性示例。难以抵御的对抗性示例。原创 2023-12-19 16:50:46 · 1115 阅读 · 1 评论 -
人工智能顶会CVPR2022《Adversarial Texture for Fooling Person Detectors in the Physical World》论文解读
这项研究的背景建立在对抗性攻击的概念上,这种攻击通过修改输入数据来误导机器学习模型。人体检测系统在安全监控、自动驾驶汽车等领域中至关重要,因此研究其潜在的脆弱性对于提高这些系统的鲁棒性和安全性至关重要。论文通过实际测试证明了对抗性纹理在物理世界中对人体检测器的欺骗效果,这不仅对理论研究有重要意义,也为实际应用中的安全措施提供了重要见解。原创 2023-12-14 15:58:16 · 1256 阅读 · 1 评论 -
人工智能顶会CVPR2022《Few Shot Generative Model Adaption via Relaxed Spatial Structural Alignment》论文解读
本文提出了一种新的少样本生成模型适应方法——放松空间结构对齐(Relaxed Spatial Structural Alignment, RSSA)。通过跨域空间结构一致性损失对源域和目标域的生成分布进行对齐,能够很好地保留和传递源域图像的固有结构信息和空间变化趋势到目标域。此外,原始潜在空间被压缩到接近目标域的狭窄子空间,这放松了跨域对齐并加速了目标域生成器的收敛速度。论文还设计了一个新的度量标准——结构一致性评分(SCS),用以评估生成图像的结构质量,可以作为当前少样本生成场景中度量标准的一个补充。原创 2023-12-13 21:00:13 · 1192 阅读 · 1 评论 -
人工智能顶会ECCV2022《Watermark Vaccine: Adversarial Attacks to Prevent Watermark Removal》论文解读
论文方法的局限性水印尺寸和透明度:实验表明,水印尺寸变大或水印的透明度参数α\alphaα变大时,DWV和IWV的保护效果会下降。这意味着水印疫苗的性能在一定程度上取决于水印变化∥w∥∥w∥的大小,更好的保护效果依赖于较小的∥w∥∥w∥变化。版权所有者的挑战:版权所有者需要在水印的大小和透明度之间做出选择,以便既便于版权识别又能有效保护水印。大尺寸和低透明度水印有助于版权识别,而小尺寸和高透明度水印则更有利于保护水印疫苗。原创 2023-12-12 20:16:39 · 1512 阅读 · 2 评论 -
人工智能顶会ICCV2021《On the Robustness of Vision Transformers to Adversarial Examples》论文解读
ViTs的安全性与传统CNNs相当:研究发现,尽管ViTs在图像处理任务中表现出色,但它们在白盒攻击条件下的安全性并不优于传统的卷积神经网络(CNNs)。这表明ViTs在对抗性攻击下同样易受攻击,特别是在面对强大的白盒攻击时。对抗性样本的低可转移性:论文中的实验显示,ViTs与其他非变换器模型(如CNNs)之间的对抗性样本可转移性出奇地低。这表明在一定程度上,ViTs对某些特定类型的攻击具有天然的防御优势。自注意力梯度攻击(SAGA)的提出:这篇论文提出了一种新型的白盒攻击方法——SAGA。原创 2023-12-11 19:28:06 · 1217 阅读 · 0 评论 -
人工智能顶会CVPR2023《揭秘对抗性示例中的因果特征:提升深度神经网络鲁棒性的新途径》论文解读
内生性问题与工具变量(IV)方法论文针对深度学习模型中的内生性问题提出了工具变量方法。作者利用对抗性扰动作为工具变量,帮助揭示输入特征对模型输出的真实影响。因果特征的识别和应用通过分析对抗性扰动对模型输出的影响,论文成功识别了对模型预测产生重要影响的因果特征。作者进一步将这些因果特征注入到防御网络中,以提高对抗性鲁棒性。非参数IV回归与AMR-GMM框架论文采用非参数IV回归方法,结合广义矩估计(GMM)和对抗性矩限制(AMR),形成了一个强大的分析框架。这一框架用于从数据中提取和理解因果关系。原创 2023-12-09 14:23:57 · 1710 阅读 · 0 评论 -
人工智能顶会ICLR2023《Re-calibrating Feature Attributions for Model Interpretation》论文解读
特征归因方法(Feature Attribution Methods)是用于解释机器学习模型,特别是深度学习模型决策过程的一类技术。这些方法的核心目的是确定输入特征对模型输出的贡献程度,以便理解模型是如何基于不同的输入特征做出预测的。特征归因方法的工作原理:关联输入与输出:它们通过分析输入特征和模型输出之间的关系来工作。这涉及评估哪些输入特征对模型做出特定决策(如分类或回归)具有最大的影响。归因分数:方法通常为每个输入特征分配一个“归因分数”,表明该特征对模型做出特定预测的重要性。可视化解释。原创 2023-12-08 19:47:12 · 1424 阅读 · 0 评论 -
人工智能顶会ICLR2023《Is Conditional Generative Modeling all you need for Decision Making?》论文解读
探索条件生成建模在顺序决策制定中的应用,特别是在离线强化学习的环境下。作者认为,通过使用条件生成模型(如扩散模型),可以绕过传统离线强化学习中的复杂动态规划过程,并解决价值函数估计的不稳定性等问题。**论文的创新点**在于提出了一种名为**“决策扩散器”(Decision Diffuser)的框架**,它使用条件扩散模型来进行决策生成。这种方法不仅可以最大化回报,还可以灵活地结合多种约束和技能,以产生新的行为。这种方法在实验中显示出优于传统方法的性能,展示了条件生成模型在决策制定中的潜力。原创 2023-12-07 20:48:54 · 1805 阅读 · 1 评论 -
人工智能顶会CVPR2023《The Resource Problem of Using Linear Layer Leakage Attack in Federated Learning》论文解读
作者强调了之前工作在开发针对安全聚合联邦学习(FL)的隐私攻击时存在的根本性问题。以往的攻击将聚合更新视为单个大批量的更新,导致客户端产生不必要的资源开销。通过将聚合更新视为多个客户端更新的聚合,作者提出了使用参数稀疏性的方法,这在降低模型尺寸(达到327倍)和计算时间(降低了3.3倍)方面相比于当前最佳技术(State of the Art, SOTA)取得了显著的优势,同时在安全聚合环境下保持了相同的数据泄露率。原创 2023-12-05 22:07:38 · 1208 阅读 · 1 评论 -
人工智能顶会 ICLR 2023《Is Adversarial Training Really a Silver Bullet for Mitigating Data Poisoning?》论文解读
在应用EntF-push攻击时,通过添加扰动,狗的图像在特征空间中被推离原本狗类别的中心点,使得模型难以从这些扰动的图像中学习到区分狗和猫的有效特征。在EntF攻击中,这些中心点用于指导扰动的添加,目的是使得训练样本在特征空间中离开(EntF-push)或靠近(EntF-pull)这些中心点,从而破坏模型的学习过程。通过这种方法,EntF策略有效地降低了模型在未受攻击的测试数据上的准确性,因为模型无法从被纠缠的训练数据中学习到区分不同类别的有效特征。:对于每个类别,计算其所有样本的潜在特征表示的平均值。原创 2023-12-04 15:03:27 · 1367 阅读 · 0 评论 -
人工智能顶会ICLR2023《Revisiting adapters with adversarial training》论文解读
总结本研究提供了对适配器与对抗性训练结合使用的新见解,特别是在Vision Transformer (ViT) 模型中实现了显著的性能提升。实验结果显示,即使是非常少量的双参数适配器也足以适应干净和对抗性图像,这表明我们不必分离正则化层就能复制AdvProp的效果。通过使用两个分类标记作为适配器,增加了768个额外参数,实现了在ImageNet上83.56%的干净准确率,以及在鲁棒模式下49.87%的鲁棒准确率,这表明这种方法是在提升模型性能的同时增强其抵抗对抗性攻击的有效策略。权重的共同训练损失。原创 2023-12-03 14:53:31 · 1494 阅读 · 1 评论 -
突破学习的界限:类增量学习中稳定性与可塑性的新探索------CVPR2023论文解读
关于类增量学习方法的评估:作者对现有的类增量学习(CIL)方法进行了评估,发现许多方法过分专注于减轻灾难性遗忘,以至于在初始训练阶段(D0)之后,特征提取器很少学习到任何新概念。引入新算法:基于这一观察,作者引入了两种简单的算法——Exploit和Partial-DER(pDER),旨在改进现有的算法并利用标准CIL评估指标的缺陷。未来研究方向:作者希望他们的发现能促进CIL研究更多地关注于强化特征表示的持续学习。这些结论强调了在类增量学习研究中,特征表示的可塑性和持续学习能力的重要性。原创 2023-12-02 21:07:13 · 1793 阅读 · 1 评论 -
顶会 ICLR2023论文《AutoFreeze: Automatically Freezing Model Blocks to Accelerate Fine-tuning》解读
微调预训练模型已成为开发新任务机器学习模型的一种流行且准确的方法。然而,在微调过程中存在一些性能挑战。为了解决这些挑战,本文提出了AutoFreeze,这是一种在微调期间自适应地冻结接近收敛部分的模型的方案。使用AutoFreeze进行NLP任务的微调可以在单GPU上实现高达2.55倍的速度提升,在64GPU集群上可达4.38倍,同时不影响准确度。虽然本文主要关注BERT模型,由于其在机器学习领域的普及和重要性,但作者们计划研究类似的方法是否也能在如图像分类或语音识别等其他领域中帮助提高性能。原创 2023-11-30 20:54:30 · 1167 阅读 · 1 评论 -
《StyLess: Boosting the Transferability of Adversarial Examples》论文解读
对抗样本具有迁移性,所以可以攻击不知道结构和参数的model限制对抗样本迁移性的原因:现在的transferable attack在优化过程中没有区分style和content特征我们提出了我们使用stylized networks作为,通过扰动自适应实例规范化来编码不同的风格特征。surrogate model(替代模型):通常是已知且可访问的深度神经网络模型,攻击者使用这个模型来生成对抗性扰动或样本。然后利用它们去攻击其它的黑箱模型。本文的方法可以防止使用。原创 2023-11-28 21:32:52 · 778 阅读 · 0 评论 -
《Improving adversarial robustness via channel-wise activation suppressing》详细解读
本文从的方面发现了对抗样本具有如下特征:1.对抗样本的activation magnitudes高于自然样本。2.对抗样本比样本更能uniformly的activate channel。在我们的研究中,发现对抗训练解决了第一个问题**本文的想法:**基于Channel-wise Activation Suppressing (CAS)的方法压缩冗余的激活。原创 2023-11-26 16:17:12 · 944 阅读 · 1 评论 -
Swin Transformer论文解读
Swin Transformer是一种新型的神经网络架构,专为处理视觉任务设计。它的出现标志着从传统的卷积神经网络(CNN)到基于Transformer的模型在计算机视觉领域的重要转变。这种转变源于Transformer模型在自然语言处理(NLP)领域取得的巨大成功,尤其是在序列建模和长范围依赖捕获方面的优势。Swin transformer是一种新的视觉transformer,它产生层次特征表示,并且对输入图像大小具有线性计算复杂度。原创 2023-11-20 21:41:13 · 452 阅读 · 0 评论