AutoML论文笔记（五）NAS for wildlife identification：用于野生动物识别的NAS算法

文章题目：Neural architecture search based on model pool for wildlife identification

链接：link https://www.sciencedirect.com/science/article/abs/pii/S092523122030388X

会议期刊：Neurocomputing

论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。

论文内容

决策树的学习最耗时的部分，是对特征值的排序。为了提高精度，尤其是比赛，人们通常使用集成算法，将若学习器组合成强学习器。GBDT作为其中的经典算法，是通过不断进行特征分裂来生长树，每增加一棵树，会新生成一个f(x)去拟合上一次训练到的残差。训练完K颗树后，将叶子节点的分数相加得到最终的得分。而XGboot是GBDT的极限版本，其在训练前预先对数据排序，保存为Block，后面训练过程中迭代的使用Block。
　NAS虽然能够搜索出媲美人类专家设计的网络。但是越来越多的人意识到，NAS在搜索的过程中由于算力和训练时间的限制，导致验证不完全，对NAS的训练方向出现偏差，从而降低神经网络搜索的性能。本文利用Xgboost训练一个回归树，在每个epoch结束的时候，直接用树来预测，从而代替了验证所需的时间和算力。如下图所示，Xgboost作为验证精度的近似。
　
　
　相对于之前的NAS技术，该方法在Cifar10上训练时间和模型大小都有缩减。
　
　同时该算法在野生动物数据集上表现也不错。
　

亮点和收获

1. 该论文提出了用Xgboost算法来解决eval不彻底的思路。
2. 首次将NAS算法推广到野生动物数据集中。