一种轻量、无需训练的神经网络结构搜索算法ZenNAS

1、背景

设计高性能的深度神经网络是一项具有挑战性的工作，需要设计人员拥有丰富的专业知识以及调参经验。Neural Architecture Search（NAS）降低了从业人员设计训练网络的难度。NAS主要涉及模型结构的生成和精度预测两部分。常见的生成算法包括均匀采样，进化算法和强化学习。精度预测包括暴力计算，训练预测器预测和单次超网络训练预测（one-shot）。 当前构建高质量预测器的主要挑战是庞大的计算代价。暴力计算和训练预测器的方法均需要训练可观数量的网络。one-shot可以通过权重共享减少训练代价，但仍需要训练一个超大网络，并且有研究发现，基于超大网络的方式得到的模型精度与模型实际精度不一致。 本文介绍一篇使用zero-shot方法评估模型的论文ZenNAS[1]。论文中利用深度神经网络的表达能力与模型精度呈正相关的关系，设计了一种测量网络表达能力的方法Zen-Score。论文中的方法受到了近期深度学习研究的启发，在相同数量的神经元下，深度模型比浅层模型有更高的表达能力。根据统计学习理论中的偏差-方差平衡内容，增加深度网络的表达能力意味着更小的偏差误差。当训练集足够大时，方差误差将接近0。这意味着表达能力更强的网络可以减少由偏差误差决定的泛化误差。这些理论结果与大规模深度学习实践一致。 论文使用Zen-Score搜索出的深度神经网络，在ImageNet数据集上获得最高83.6%的精度，同时模型的推理时间也被约束在特定范围内。

2、模型表达能力

2.1 符号说明

这里先对常用的符号进行说明，对于L层网络可以用函数表示成 ƒ：ℝ^m0→ℝ^mL，其中m₀是输入维度，m_L是输出维度。x₀ ϵ ℝ^m0表示输入图片。相应的第t层的输出特征图表示为x_t。第t层有m_t-1个输入通道和m_t个输出通道。卷积核为。图片分辨率H✖W。小批量为B，均值μ方差σ²的高斯分布表示为N(