干货！基于拓扑感知的高效神经网络架构搜索

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

神经网络架构搜索是机器学习自动化中的重要一环。现有的神经网络架构搜索工作基于现有网络模块进行搜索，这极大限制了可探索的网络架构并约束了网络的潜在性能。

此外，由于现有搜索方法没有利用神经网络结构与模块中的拓扑信息，搜索过程非常耗时且并不能准确的找到良好和高效的架构。

为了解决这些问题并充分利用神经网络架构中的拓扑信息，我们提出了一套基于拓扑感知的神经架构搜索方法以探索新颖的神经网络模块，并将其泛化成有向无环图的形式。

我们首先提出了AutoShrink算法，用于逐步缩减巨大的有向无环图搜索空间，这让我们在短时间内搜寻高效的神经网络模块。

其次，我们提出NASGEM算法，利用拓扑信息为结构相似的神经网络模块赋予相似的图编码和表达，这为搜索算法提供更好的先验知识和更准确的神经网络架构性能评估。

在主流的计算机视觉任务上，我们提出的方法在获得了高精度、高效的神经网络架构的同时，极大地减少了搜索时间和开销。

本期AI TIME PhD直播间，我们邀请杜克大学电子与计算机工程系博士生——张屯厚，为我们带来报告分享《基于拓扑感知的高效神经网络架构搜索》。

张屯厚：

本科毕业于复旦大学微电子系，目前是杜克大学电子与计算机工程系二年级博士生，师从陈怡然和李海老师。他的主要研究方向自动机器学习，具体为基于拓扑感知的神经网络架构搜索。

01