[深度学习从入门到女装]Learning Transferable Architectures for Scalable Image Recognition

论文地址：Learning Transferable Architectures for Scalable Image Recognition

 

这是谷歌大脑的一篇关于神经网络结构最优搜索的论文

在基于Neural Architecture Search (NAS)进行网络结构最优搜索的结构上进行改进，不搜索整个网络的结构，只搜索block（cell）的最优结构，因为目前最流行的网络都是cell堆叠起来的

cell分为两种：

1、Normal Cell 返回的feature map和输入的dimension相同

2、Reduction Cell 返回的feature map的size是输入的一半

搜索的方式是NAS的方式，也就是使用RNN进行一个递归的搜索

如图3所示，每5个hidden unit作为一组，分为5个操作：

1、从之前hidden block中或者是前两个state中选取一个hidden state

2、重复第一步操作得到第二个hiiden state

3、对于第一步得到的hidden state选取一个operation

4、对于第二步得到的hidden state选取一个operation

5、将第三步和第四步得到的结果选取一个operation将他们combine

以上这些操作重复递归B次，在本文中B=5的时候最优

3和4步的operation操作有：

5步的combine operation操作有：

1、element-wise addition

2、concatenation

 

因为需要选取两个最优cell（Normal Cell、Reduction Cell），所以整个RNN需要递归2*5B次，前5B次为Normal Cell，后5B次为Reduction Cell

最终在B=5的情况下，在CIFAR-10中得到的最优cell如下图所示