动态神经网络
文章平均质量分 95
通街市密人有
https://github.com/LinY-ct
展开
-
Towards Accurate and Robust Architectures via Neural Architecture Search
为了保护深度神经网络免受对抗性攻击,对抗性训练因其有效性而受到越来越多的关注。然而,对抗训练的准确性和鲁棒性受到体系结构的限制,因为对抗训练通过调整隶属于体系结构的权重连接来提高准确性和鲁棒性。在这项工作中,我们提出了ARNAS来搜索对抗训练的准确和健壮的架构。首先,我们设计了一个准确和鲁棒的搜索空间,其中单元格的位置和滤波器数量的比例关系是仔细确定的。通过将准确的结构和鲁棒的结构分别部署到敏感位置,使结构既具有精度又具有鲁棒性。原创 2024-07-06 17:49:54 · 734 阅读 · 0 评论 -
DARTS-PT: RETHINKING ARCHITECTURE SELECTION IN DIFFERENTIABLE NAS
可微架构搜索(Differentiable Neural Architecture Search, NAS)是目前最流行的网络架构搜索(Neural Architecture Search, NAS)方法之一,它通过基于梯度的算法在权值共享的网络中共同优化模型权值和结构参数。在搜索阶段结束时,将选择具有最大架构参数的操作构成最终架构,并隐含假设架构参数的值反映了操作强度。虽然关于超网络优化的讨论很多,但架构选择过程却很少受到关注。原创 2024-03-29 20:33:57 · 1103 阅读 · 0 评论 -
UNDERSTANDING AND ROBUSTIFYING DIFFERENTIABLE ARCHITECTURE SEARCH
可微架构搜索(DARTS)由于其简单和小的搜索成本而引起了人们的广泛关注,该搜索成本是通过连续松弛和近似产生的双层优化问题来实现的。然而,对于新问题,DARTS并不能健壮地工作:我们确定了一个广泛的搜索空间,其中DARTS产生了退化的架构,测试性能非常差。我们研究了这种失效模式,并表明,虽然成功地最小化了验证损失,但当它们与架构空间中的高验证损失曲率相吻合时,所找到的解泛化性很差。我们证明了通过添加各种类型的正则化中的一种,我们可以鲁棒化DARTS以找到曲率更小和泛化性能更好的解。原创 2024-03-28 21:06:55 · 1084 阅读 · 0 评论 -
DARTS-: ROBUSTLY STEPPING OUT OF PERFORMANCE COLLAPSE WITHOUT INDICATORS
可微体系结构搜索(DARTS)发展迅速,但长期存在性能不稳定的问题,极大地限制了其应用。现有的鲁棒方法从导致的恶化行为中寻找线索,而不是找出其原因。在性能崩溃之前,提出了各种指标如Hessian特征值作为停止搜索的信号。然而,如果阈值设置不当,这些基于指标的方法往往容易拒绝良好的体系结构,更不用说搜索本质上是有噪声的。在本文中,我们采取一种更微妙和直接的方法来解决崩溃。我们首先证明跳跃连接比其他候选操作有明显的优势,它可以很容易地从不利状态恢复并成为主导。我们推测这种特权会导致性能下降。原创 2024-03-25 20:09:20 · 937 阅读 · 0 评论 -
FairDARTS: Eliminating Unfair Advantages in Differentiable Architecture Search
可微分架构搜索(DARTS)是目前广泛应用的一种权重共享神经架构搜索方法。然而,由于不可避免的跳跃连接聚合,它遭受了众所周知的性能崩溃。本文首先揭示了其根源在于排他性竞争中的不公平优势。通过实验,我们证明,如果两个条件中的任何一个被打破,崩溃就会消失。因此,我们提出了一种新的方法,称为FairDARTS,其中排他性竞争被放松为协作。具体来说,我们让每个操作的体系架构权重独立于其他操作。然而,离散化差异仍然是一个重要的问题。原创 2024-03-21 21:27:46 · 708 阅读 · 0 评论 -
PC-DARTS: PARTIAL CHANNEL CONNECTIONS FOR MEMORY-EFFICIENT ARCHITECTURE SEARCH
可微分体系结构搜索(DARTS)在寻找有效的网络体系结构方面提供了一种快速的解决方案,但在联合训练超网络和搜索最优体系结构时存在较大的内存和计算开销。在本文中,我们提出了一种新颖的方法,即部分连接的DARTS,通过对超网络的一小部分采样来减少探索网络空间时的冗余,从而在不影响性能的情况下执行更有效的搜索。特别是,我们在通道的子集中执行操作搜索,而在快捷方式中绕过保留部分。这种策略可能会由于采样不同的通道而导致超网络边缘选择不一致。原创 2024-03-16 19:06:23 · 807 阅读 · 0 评论 -
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
近年来,可微搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而,这些方法在评估搜索的体系结构或将其转移到另一个数据集时往往展示较低的准确性。这是由于搜索和评估场景中架构深度之间的巨大差距。在本文中,我们提出了一种有效的算法,该算法允许在训练过程中搜索结构的深度逐渐增长。这带来了两个问题,即更大的计算开销和更弱的搜索稳定性,我们分别使用搜索空间近似和正则化来解决这两个问题。原创 2024-03-16 17:02:38 · 624 阅读 · 0 评论 -
DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
本文通过以可微分的方式表述任务,解决了架构搜索的可扩展性挑战。与在离散和不可微搜索空间上应用进化或强化学习的传统方法不同,我们的方法基于架构表示的连续松弛,允许使用梯度下降对架构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上进行的大量实验表明,我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的循环架构方面表现出色,同时比最先进的不可微技术快几个数量级。我们的实现已经公开,以促进对高效架构搜索算法的进一步研究。原创 2024-03-12 20:57:11 · 866 阅读 · 0 评论 -
A ConvNet for the 2020s
视觉识别的“咆哮的20年代”始于视觉Transformer(ViT)的引入,它很快取代了卷积神经网络,成为最先进的图像分类模型。另一方面,vanilla ViT在应用于一般的计算机视觉任务(如对象检测和语义分割)时面临困难。分层Transformer(例如,Swin Transformer)重新引入了几个卷积神经网络先验,使Transformer作为通用视觉主干实际上可行,并在各种视觉任务上表现出卓越的性能。原创 2024-01-15 17:27:44 · 903 阅读 · 0 评论 -
Dynamic Neural Networks: A Survey
动态神经网络是深度学习领域的一个新兴研究课题。与在推理阶段具有固定计算图和参数的静态模型相比,动态网络可以使其结构或参数适应不同的输入,从而在准确性、计算效率、适应性等方面具有显著优势。原创 2023-04-08 00:39:56 · 947 阅读 · 0 评论