m0_37412775的博客

移动设备中广泛使用的微小神经网络（TNN）容易受到对抗性攻击，对TNN鲁棒性的更先进研究需求也越来越大。本文关注于如何在不损失模型精度的情况下提升TNN的鲁棒性。为了在对抗精度adversarail accuracy，干净精度clean accuracy，和模型尺寸间达到平衡，本文提出了。

论文链接：https://arxiv.org/abs/2207.05321代码链接：暂未公布摘要：【问题背景】人们发现深度神经网络容易受到对抗性攻击，因此在安全敏感的环境中引起了潜在的担忧。 为了解决这个问题，最近的研究从架构的角度研究了深度神经网络的对抗鲁棒性。【动机】然而，搜索深度神经网络的架构在计算上是昂贵的，特别是在与对抗性训练过程相结合时。【本文方法】为了应对上述挑战，本文提出了一种双保真多目标神经架构搜索方法。 首先，我们将增强深度神经网络对抗鲁棒性的 NAS 问题转化为多目标优化问题。 具体来

用于图像分类的神经网络通过大量的手动设计从链式模型发展到了有多种有线路径的结构。比如，ResNets和DenseNets的成功很大程度上归因于他们的创新性的连线方式。现在，神经架构搜索NAS也在探索连线和操作的联合优化，但是可能的连线空间是有限的而且还是由手工设计驱动的。所以，作者先定义了a stochastic network generator用于封装网络生成过程，这个封装过程提供了NAS和随机有线网络的统一视野。然后，作者用3个经典的随机图模型生成网络的随机有线图。

先贴一张流程图：研究背景：ViT已经在几个计算机视觉任务实现了很好的效果，其成就和架构设计高度相关，因此很值得提出Transformer Architecture Search (TAS)自动搜索更好的ViTs。提出问题：当前的TAS方法非常耗时，且根据实验观察发现在CNN中使用的zero-cost proxies不能很好的推广到ViT搜索空间。解决方法：先观察了如何以training-free的方式指导TAS进行并设计有效的training-free TAS范式。实验结果：极大提升了ViT架构的搜索效率，

【注】：推荐先了解多目标优化问题中PF的概念，及SPOS的基本流程。一句话总结：本文改进了SPOS训练过程中的均匀采样策略（best up, worst up），有效辨识PF，进一步提升模型精度。问题背景：NAS已经在设计精确高效得SOTA模型上取得了巨大的成果。当前，两阶段NAS，如BigNAS解耦了模型训练和搜索过程并实现了很好的效果。两阶段NAS需要在训练过程中从搜索空间采样，其直接影响最终搜索到的模型的精度。提出问题：由于均匀采样的简单易行，已经被广泛应用于两阶段NAS的训练过程中，但是其和模型性能

- Training-free Transformer Architecture Search 2022CVPR oralpaper: https://arxiv.org/abs/2203.12217code: https://github.com/decemberzhou/TF_TAS (06.09暂未公布)- Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning 20