论文阅读笔记20.05-第二周

Angle-based Search Space Shrinking for Neural Architecture Search

这篇文章主要讲述的是一种通过减小搜索域的方法来提高NAS搜索网络性能的故事。
作者认为，他找到了一种公平、准确、且可以直接加到各种NAS算法上的逐渐减小搜索域的算法。

• 目的：改善搜索结果
• 方法：减小搜索域
• 因果关系：如果能保证小搜索域包含了最优结果，那更小的搜索空间必然是更好搜索的，哪怕用随机概率都会高一点。作者用了几个搜索域来证明这一点。
• 难点：缩小的时候用什么东西去保证没把最优解删掉

文献回想

关于逐渐减小搜索域，之前也有一些相关的文章了，其中有像PDarts和SGAS这种在搜索过程中动态调节搜索域，也有像RegNet一样去证明某个搜索域在统计意义上更优秀，证明某些人类经验是可保留的。前者是针对darts的特定方法，而后者则更多是在通道数、深度这些问题上讨论，对操作层面没有太大帮助。
关于非精度指标，打破NAS反复尝试的思路而引入一些其他方面的启发信息，算是一种贪心的思想，重点就是要证明自己选取的这个指标确实是高度相关的。之前常用的指标一个是精度，一个就是重要度（类似于Darts的结构参数）。

论文想法

为什么选用角度：听作者引用其他文章的意思，由于BN层的存在，权重按倍数进行放缩已经没有意义了，因此初始权重与当前权重的角度可以很好地反映网络的训练泛化程序。我也不知道为什么，我觉得需要回头看下参考文献。
角度有用吗？ 从实验上来讲，是有用的。在短暂训练的超网络中去采样网络，用角度与单独充分训练的精度计算Kendall相关系数，会比用继承权重的精度去计算要高、而且相关系数多次实验的稳定性也好、角度的计算量也不大、保留下来的op也在统计意义上更好……总得来说意味着角度越大的网络相比当前精度最高的网络更有希望。
至于怎么用网络的角度去当作筛选op的标准，就是拿一堆包含这个op的网络的角度的平均来当作这个op的指标值。
既然角度这么有用，为什么不直接用角度来钦定？ 个人认为是容错率的问题，角度值大的op有较高的概率是最后剩下的op，但是这个相关度也是有限的，要求高一点的话也就需要用NAS的尝试学习方法去得到最好的结构。用粗略但快速的指标进行过滤，而后用精细的搜索最终确定。
不对，如果相信角度的相关系数更高，就没必要用其他算法了。
作者做到与各种NAS算法融合了吗？ 坦率来说，我个人是觉得他的说法有一些夸张的，因为他与Darts等其他算法的结合实验是一种两步实验，即先删搜索域、再开始用原算法搜索。这与我自己之前想的“逐渐”一词定义有点不一样，他的逐渐是指我先删减的过程中，是边训练边慢慢删的。缩减时的过程与后面的算法无关，是均匀采样的超网络训练算法。但是，在缩减过搜索域之后确实比之前的结果要提升一些。

NAS Bench 201

作者认为，目前许多NAS算法在搜索域、训练策略上都不一致，相互之间的可比性比较低，所以构建一种同一的流程与评判标准，才能让研究者更加关注于搜索策略本身之上。同时，在研究过程中，单个模型的评价什么的不再需要重头训，可以相当程度上提升研究效率。

需要统一的方面：

• 搜索域与操作集合
• 单个模型的训练配置
• 训练、验证集的划分方法

这个数据集里面有什么？

• 在训练、测试、验证集上的损失和精度
• 每个模型的参数量、flops和latency
• 模型训练每个epoch时的精度和损失，可体现趋势或是用于预测学习
• 每个模型训完之后的权重

作者在这个搜索域与训练配置下对许多算法进行了复现，并发现

• 不用权值共享的结果更好，用权值共享的话，BN层最好只用当前批统计
• Darts很容易就过拟合到全skip

总之，这是一个试验新的基础NAS搜索算法的好地方，因为它排除了搜索域的干扰。另外用这个数据集去进行实验分析应该也比较方便吧，感觉要做深还是要往底层问题去思考。

AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning

在迁移学习的时候我们往往会finetune最后几层。因为网络往往是针对源数据集设计的，与目标数据集可能会不一致，我们简单地把最后一层的softmax类别数改变可能并不够。是否需要对网络结构进行改变？考虑到浅层应该代表的是基础特征，深层表征的是抽象特征，我们要改变的便是深层的结构，即从右向左改变。
对于分类网络而言，最后的fc+softmax层是肯定要改变的，有fc层有几个、有多少神经元都是需要决定的量，而再往前，卷积和池化，则要决定修改最后几个卷积（池化）层，每个层改成什么样子。
文章用贝叶斯优化的方法进行调参，我理解的贝叶斯优化至少得是在固定参数个数的情况下进行吧，但是这里甚至每次的参数个数可能都不一样？我觉得这里算法的表述上存在一些问题。
文章在三个小数据集上进行了实验，说明了对后面几层进行一下调整会有比较好的效果。RS也会有效果，但是效果没有优化算法好就是了。