自动机器学习简述（AutoML）

转载本文需注明出处：微信公众号EAWorld，违者必究。

目录：

一、为什么需要自动机器学习

二、超参数优化 Hyper-parameter Optimization

三、元学习 Meta Learning

四、神经网络架构搜索 Neural Architecture Search

五、自动化特征工程

六、其它自动机器学习工具集

一、为什么需要自动机器学习

对于机器学习的新用户而言，使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行，工程师需要选择相应的神经网络架构，训练过程，正则化方法，超参数等等，所有的这些都对算法的性能有很大的影响。于是深度学习工程师也被戏称为调参工程师。

自动机器学习（AutoML）的目标就是使用自动化的数据驱动方式来做出上述的决策。用户只要提供数据，自动机器学习系统自动的决定最佳的方案。领域专家不再需要苦恼于学习各种机器学习的算法。

自动机器学习不光包括大家熟知的算法选择，超参数优化，和神经网络架构搜索，还覆盖机器学习工作流的每一步：

• 自动准备数据

• 自动特征选择

• 自动选择算法

• 超参数优化

• 自动流水线/工作流构建

• 神经网络架构搜索

• 自动模型选择和集成学习

二、超参数优化

Hyper-parameter Optimization

学习器模型中一般有两类参数，一类是可以从数据中学习估计得到，还有一类参数时无法从数据中估计，只能靠人的经验进行设计指定，后者成为超参数。比如，支持向量机里面的C Kernal Gamma；朴素贝叶斯里面的alpha等。

超参数优化有很多方法：

最常见的类型是黑盒优化 （black-box function optimization）。所谓黑盒优化，就是将决策网络当作是一个黑盒来进行优化，仅关心输入和输出，