微软开源自动机器学习工具 – NNI安装与使用

  在机器学习建模时，除了准备数据，最耗时耗力的就是尝试各种超参组合，找到最佳模型的过程了。对于初学者来说，常常是无从下手。即使是对于有经验的算法工程师和数据科学家，也是很难把握所有的规律，只能多次尝试，找到较好的超参组合。而自动机器学习这两年成为了热门领域，它将机器学习过程中包括自动特征提取、模型选择、参数调节等过程自动化地学习，使学习过程在给定数据和任务上学习和泛化能力非常强大。NNI (Neural Network Intelligence) 是微软开源的自动机器学习工具包，与当前的各种自动机器学习服务或工具相比，有非常独特的价值。NNI着力解决超参调试过程的挑战，通过内置的超参选择算法、算力的强大支持和便捷的交互方式来加速和简化超参搜索的过程。更多详细内容和代码可以参考NNI的 github地址。
  本篇是NNI (Neural Network Intelligence) 系列文章的开篇，将首先介绍NNI 的特点和价值，然后用一个简单的mnist样例带您开启自动化机器学习之旅。后续系列文章还将从NNI的高效率——能够帮助节省时间和减少代码、NNI的分布式——支持OpenPAI等多端部署、NNI的可扩展性——支持多种tuner和assessor等特点介绍NNI。

NNI的众多特点

  1. 安装简洁：通过pip命令就能完成安装；
  2. 支持私有部署，用自己的计算资源就能进行自动机器学习；
  3. 支持分布式调度：NNI 可以在单机上进行试验，还支持多种分布式调度平台，如通过 SSH 控制多台 GPU 服务器协同完成试验，或通过OpenPAI, Azure, Kubernetes等在独立的 Docker 中运行；
  4. 对超参搜索的底层支持：大部分自动机器学习服务与工具的服务都是针对于图片分类等特定的任务。而NNI通过让用户提供训练代码和超参搜索范围， 依靠NNI内置算法和训练服务来搜索最佳的超参和神经架构，NNI为有一定模型训练经验的用户提供更加通用的调参方式，便于用户做出更多尝试、决策和加入思考，并完整参与整个训练过程；
  5. 随库自带众多实例和流行的调参算法；
  6. 架构简洁、对开发和扩展及其友好。

开启你的第一次NNI之旅

  这部分将以识别手写字体mnist为例介绍NNI如何在本地机器使用注释方式定义搜索空间提交训练任务而提高效率，并介绍NNI的基础功能与使用。要通过NNI进行实验，用户只需要三步即可完成实验准备，（1）定义搜索空间(search space)；（2）上传代码（codes）；（3）定义实验 ，用户可以使用一行命令行即可开始实验，并可使用web