【荐读 IEEE TPAMI】DNA Family_ Boosting Weight-Sharing NAS With Block-Wise Supervisions

DNA Family: Boosting Weight-Sharing NAS With Block-Wise Supervisions

题目：DNA家族：利用块级监督策略增强权重共享的神经网络架构搜索

作者：Guangrun Wang , Member, IEEE, Changlin Li , Liuchun Yuan, Jiefeng Peng, Xiaoyu Xian , Xiaodan Liang ,
Xiaojun Chang , Senior Member, IEEE, and Liang Lin , Senior Member, IEEE

---

摘要

神经架构搜索（NAS）旨在通过机器自动设计神经架构，被认为是自动机器学习的关键步骤。其中一类值得注意的NAS方法是权重共享NAS，它显著提高了搜索效率，并允许NAS算法在普通计算机上运行。尽管备受期待，但这类方法在搜索有效性上存在不足。通过使用泛化界限工具，我们展示了导致这一缺点的原因是潜在的不可靠架构评分，这是由于可能架构的搜索空间过大造成的。为了解决这个问题，我们将一个大型搜索空间模块化为具有较小搜索空间的块，并开发了一组使用蒸馏神经架构（DNA）技术的模型。这些提出的模型，即DNA家族，能够解决权重共享NAS的多个困境，如可扩展性、效率和多模态兼容性。我们提出的DNA模型