神经网络架构搜索

International Journal of Complexity in Applied Science and Technology，
投稿网址:https://www.inderscience.com/jhome.php?jcode=ijcast,
发表论文不收取任何费用，论文平均审稿25天内即可录用。

1. 神经网络架构搜索方法分类

当前，神经网络架构搜索的方法主要可以归纳为以下三类：

a. 基于强化学习的NAS

• 方法概述：强化学习方法是最早应用于NAS的一种。搜索策略通过强化学习智能体在搜索空间中探索不同的神经网络结构，并通过反馈信号（如模型性能）更新搜索策略。
• 优点：这种方法可以直接通过性能信号指导搜索，并能处理离散的搜索空间。
• 缺点：由于每次搜索都需要训练一个完整的网络，导致计算资源消耗极大。
• 代表工作：Zoph和Le（2017）的NAS方法通过强化学习智能体设计了性能优异的CNN架构。

b. 基于进化算法的NAS

• 方法概述：进化算法模仿自然选择，通过遗传变异和选择，逐步优化神经网络结构。每一代网络结构的优劣取决于其性能表现，通过进化，保留优秀的架构。
• 优点：进化算法在搜索空间上有较好的探索性，且适用于离散和连续的架构优化。
• 缺点：进化过程通常需要大量的候选模型，导致计算代价较高。
• 代表工作：Real等人（2019）提出的AmoebaNet利用进化算法生成了在ImageNet上表现优异的网络结构。

c. 基于梯度的NAS

• 方法概述：梯度优化方法将NAS问题转换为一个连续优化问题，允许通过梯度下降方法来同时优化网络架构和其权重。相比于离散搜索策略，梯度方法能够更高效地探索搜索空间。
• 优点：大大降低了搜索过程中的计算成本，提升了搜索效率。
• 缺点：这种方法对搜索空间的连续性有一定依赖，且容易陷入局部最优。
• 代表工作：Liu等人（2019）提出的DARTS（Differentiable Architecture Search）利用可微分的方法大幅降低了计算成本，是近期梯度优化NAS的代表。

2. 神经网络架构搜索的新兴方向

a. 基于图神经网络的NAS

• 背景：图神经网络（GNN）在处理非结构化数据（如图数据、关系数据）方面有显著优势。近期，研究者开始将GNN应用到NAS中，用以建模网络结构的复杂性。
• 优势：GNN能处理复杂的搜索空间，并有助于提升架构的泛化能力。
• 代表工作：You等人（2020）利用GNN对网络架构进行编码，在图结构上进行搜索，提升了效率。

b. 多任务NAS

• 背景：传统的NAS通常只针对单一任务进行架构设计，然而在实际应用中，往往需要同时处理多个任务（如图像分类和目标检测）。
• 新方法：多任务NAS通过共享底层架构来同时适应不同任务的需求，减少搜索时间和计算资源。
• 代表工作：Sun等人（2019）的MNASNet通过优化网络架构以满足多任务的精度和速度需求，取得了优异的表现。

c. 基于元学习的NAS

• 背景：元学习旨在从不同的任务中学习普适性知识，以提升新任务的学习速度和效果。元学习思想也逐渐被引入NAS中，提升架构在不同任务中的适应能力。
• 优势：通过元学习，NAS能在少量数据和搜索步骤下生成表现优异的网络结构。
• 代表工作：Elsken等人（2019）提出了基于元学习的NAS方法，能够根据历史搜索结果快速生成新的架构。

3. NAS面临的挑战

a. 搜索空间的设计

尽管已有许多种搜索空间的设计，如卷积神经网络（CNN）、循环神经网络（RNN）等，如何定义一个合理的、具有足够表示能力的搜索空间仍然是NAS中的重要问题。若搜索空间过大，搜索效率将大幅下降；过小则限制了架构的创新性。

b. 搜索效率和成本

尽管近年提出了如DARTS等高效的搜索算法，但大规模模型的训练和架构搜索仍然耗费大量的计算资源。如何进一步降低计算成本，特别是在大规模数据集上的应用，是NAS亟待解决的一个问题。

c. 模型泛化性

神经网络架构的搜索通常在特定的数据集上进行，但在新数据集上能否保持良好的泛化能力是NAS的重要挑战之一。未来的研究可能会更关注如何提升自动搜索架构的泛化能力，使其适应不同的数据和任务。

d. 解释性和可控性

NAS方法虽然能自动生成高性能的网络结构，但这些结构通常较为复杂，缺乏解释性。如何提高自动生成架构的可解释性和可控性，使其更易被人类理解和调整，也是未来的研究方向之一。

总结

神经网络架构搜索作为自动化机器学习（AutoML）的核心技术之一，已经取得了长足的进展。随着强化学习、进化算法和梯度优化等方法的不断优化，NAS的效率和效果持续提升。同时，基于图神经网络、多任务NAS、元学习等新兴方向的探索也拓展了NAS的应用领域。尽管面临计算成本、搜索空间设计、泛化能力等挑战，NAS仍有巨大的发展潜力，特别是在实际应用中的深度推广。