通街是密人有的博客

对抗性攻击的最新进展揭示了现代深度神经网络的内在脆弱性。从那时起，大量的研究致力于通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中，我们从体系结构的角度研究了能够抵御对抗性攻击的网络体系结构模式。为了获得本研究所需的大量网络，我们采用one-shot网络架构搜索，对一个大网络进行一次训练，然后对从中采样的子网络进行微调。采样的结构及其所达到的精度为我们的研究提供了丰富的基础。

深度神经网络(DNN)容易受到对抗性攻击。现有的方法致力于开发各种鲁棒训练策略或正则化来更新神经网络的权值。但除了权重之外，网络中的整体结构和信息流是由网络架构明确决定的，这一点尚未被探索。因此，本文旨在从体系结构的角度提高网络的对抗鲁棒性。我们探讨了对抗鲁棒性、Lipschitz常数和结构参数之间的关系，并表明对结构参数进行适当的约束可以降低Lipschitz常数，从而进一步提高鲁棒性。体系结构参数的重要性可能因操作或连接而异。

在过去的几十年里，卷积神经网络(CNN)在架构和规模上取得了巨大的进步，在某些任务中，它们可以很容易地达到甚至超过人类的表现。然而，最近发现CNN的一个缺点是容易受到对抗性攻击。虽然CNN的对抗鲁棒性可以通过对抗训练来提高，但在标准精度和对抗鲁棒性之间存在权衡。从神经结构的角度，本文旨在提高具有满意精度的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩展架构的引入有望与骨干CNN的标准性能友好，同时追求对抗性的鲁棒性。

深度卷积神经网络(DCNNs)在机器学习中表现最好，但也可能受到对抗性攻击的挑战。在本文中，我们使用基于去噪块、无权重操作、Gabor滤波器和卷积的综合搜索的神经结构搜索(NAS)来防御对抗性攻击。由此产生的Anti-BanditNAS (ABanditNAS)包含了一种新的基于上下置信限(LCB和UCB)的作战评价度量和搜索过程。与仅使用UCB进行评估的传统强盗算法不同，我们使用UCB来abandon arms以提高搜索效率，使用LCB来实现武器之间的公平竞争。

为了保护深度神经网络免受对抗性攻击，对抗性训练因其有效性而受到越来越多的关注。然而，对抗训练的准确性和鲁棒性受到体系结构的限制，因为对抗训练通过调整隶属于体系结构的权重连接来提高准确性和鲁棒性。在这项工作中，我们提出了ARNAS来搜索对抗训练的准确和健壮的架构。首先，我们设计了一个准确和鲁棒的搜索空间，其中单元格的位置和滤波器数量的比例关系是仔细确定的。通过将准确的结构和鲁棒的结构分别部署到敏感位置，使结构既具有精度又具有鲁棒性。

可微架构搜索(Differentiable Neural Architecture Search, NAS)是目前最流行的网络架构搜索(Neural Architecture Search, NAS)方法之一，它通过基于梯度的算法在权值共享的网络中共同优化模型权值和结构参数。在搜索阶段结束时，将选择具有最大架构参数的操作构成最终架构，并隐含假设架构参数的值反映了操作强度。虽然关于超网络优化的讨论很多，但架构选择过程却很少受到关注。

可微架构搜索(DARTS)由于其简单和小的搜索成本而引起了人们的广泛关注，该搜索成本是通过连续松弛和近似产生的双层优化问题来实现的。然而，对于新问题，DARTS并不能健壮地工作：我们确定了一个广泛的搜索空间，其中DARTS产生了退化的架构，测试性能非常差。我们研究了这种失效模式，并表明，虽然成功地最小化了验证损失，但当它们与架构空间中的高验证损失曲率相吻合时，所找到的解泛化性很差。我们证明了通过添加各种类型的正则化中的一种，我们可以鲁棒化DARTS以找到曲率更小和泛化性能更好的解。

可微体系结构搜索(DARTS)发展迅速，但长期存在性能不稳定的问题，极大地限制了其应用。现有的鲁棒方法从导致的恶化行为中寻找线索，而不是找出其原因。在性能崩溃之前，提出了各种指标如Hessian特征值作为停止搜索的信号。然而，如果阈值设置不当，这些基于指标的方法往往容易拒绝良好的体系结构，更不用说搜索本质上是有噪声的。在本文中，我们采取一种更微妙和直接的方法来解决崩溃。我们首先证明跳跃连接比其他候选操作有明显的优势，它可以很容易地从不利状态恢复并成为主导。我们推测这种特权会导致性能下降。

可微分架构搜索(DARTS)是目前广泛应用的一种权重共享神经架构搜索方法。然而，由于不可避免的跳跃连接聚合，它遭受了众所周知的性能崩溃。本文首先揭示了其根源在于排他性竞争中的不公平优势。通过实验，我们证明，如果两个条件中的任何一个被打破，崩溃就会消失。因此，我们提出了一种新的方法，称为FairDARTS，其中排他性竞争被放松为协作。具体来说，我们让每个操作的体系架构权重独立于其他操作。然而，离散化差异仍然是一个重要的问题。

最近，人们对神经架构设计过程的自动化越来越感兴趣，而可微分架构搜索(DARTS)方法使该过程在几个GPU天内可用。然而，当搜索epoch数变大时，通常会观察到DARTS的性能崩溃。同时，在所选的体系结构中发现了大量的“跳跃连接”。在本文中，我们认为崩溃的原因是在优化中存在过拟合。因此，我们提出了一种简单有效的算法，命名为“DARTS+”，通过在满足一定条件时“早停”搜索过程来避免崩溃并改进原有的DARTS。

降低计算机断层扫描（CT）中的辐射剂量可以大大降低对公众健康的潜在风险。然而，来自剂量减少的CT或低剂量CT（LDCT）的重建图像遭受严重的噪声，这损害了随后的诊断和分析。最近，卷积神经网络在从LDCT图像中去除噪声方面取得了很有希望的结果。所使用的网络架构要么是手工制作的，要么是在传统网络（如ResNet和U-Net）之上构建的。神经网络架构搜索（NAS）的最新进展表明，网络架构对模型性能有着显著的影响。这表明当前用于LDCT的网络架构可能是次优的。

计算机断层扫描（CT）在临床医学中得到了广泛应用，低剂量CT（LDCT）已成为减少CT采集过程中潜在的患者伤害的流行手段。然而，LDCT加剧了CT图像中的噪声和伪影问题，增加了诊断难度。通过深度学习，人工神经网络对CT图像进行去噪引起了医学成像的极大兴趣，并取得了巨大成功。受神经结构搜索的启发，我们提出了一个使用独立运算搜索单元实现卓越LDCT降噪的框架，并引入拉普拉斯算子来进一步提高图像质量。

注：“Foveated”、“Foveation” 通常指的是一种处理方式，即根据视觉焦点的变化来调整图像处理的方法。论文链接：https://ieeexplore.ieee.org/document/10145413项目链接：https://github.com/VictorWylde/F-DARTS多模态医学图像融合(MMIF)在疾病诊断和治疗等领域具有重要意义。由于图像变换和融合策略等人为因素的影响，传统的MMIF方法难以提供满意的融合精度和鲁棒性。现有的基于深度学习的融合方法，由于采用人为设计的网络结

准确的医学图像分割，特别是对于含有不可忽略噪声的超声心动图图像，需要精心设计网络。与手工设计相比，Neural Architecture Search (NAS)由于搜索空间更大、自动优化，实现了更好的分割效果，但现有的大多数方法在分层特征聚合方面较弱，采用“强编码器、弱解码器”的结构，不足以处理全局关系和局部细节。为了解决这些问题，我们提出了一种新的半监督混合NAS网络，用于精确的医学图像分割，称为SSHNN。

本文通过以可微分的方式表述任务，解决了架构搜索的可扩展性挑战。与在离散和不可微搜索空间上应用进化或强化学习的传统方法不同，我们的方法基于架构表示的连续松弛，允许使用梯度下降对架构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上进行的大量实验表明，我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的循环架构方面表现出色，同时比最先进的不可微技术快几个数量级。我们的实现已经公开，以促进对高效架构搜索算法的进一步研究。

近年来，可微搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而，这些方法在评估搜索的体系结构或将其转移到另一个数据集时往往展示较低的准确性。这是由于搜索和评估场景中架构深度之间的巨大差距。在本文中，我们提出了一种有效的算法，该算法允许在训练过程中搜索结构的深度逐渐增长。这带来了两个问题，即更大的计算开销和更弱的搜索稳定性，我们分别使用搜索空间近似和正则化来解决这两个问题。

可微分体系结构搜索(DARTS)在寻找有效的网络体系结构方面提供了一种快速的解决方案，但在联合训练超网络和搜索最优体系结构时存在较大的内存和计算开销。在本文中，我们提出了一种新颖的方法，即部分连接的DARTS，通过对超网络的一小部分采样来减少探索网络空间时的冗余，从而在不影响性能的情况下执行更有效的搜索。特别是，我们在通道的子集中执行操作搜索，而在快捷方式中绕过保留部分。这种策略可能会由于采样不同的通道而导致超网络边缘选择不一致。