自动调参家族

1）AZURE

 

• 开源与否：否
• 是否基于云平台：是（可以完成任何计算目标的模型的评价和训练）
• 支持的模型类别：分类、回归
• 使用的技术：概率矩阵分解+贝叶斯优化
• 训练框架： sklearn

本质：学习两种不同数据集间的本质联系

 

2）谷歌的 AUTOML

• 开源与否：否
• 是否基于云平台：是（训练和评价）
• 支持的模型类别：用于分类的卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）
• 使用的技术：带梯度策略更新的强化学习
• 训练框架：TensorFlow

本质：RNN 的神经架构搜索，生成编码为长度可变token序列。RNN经过训练，使用了强化学习策略，该策略更新了RNN的参数，以便随着时间的推移生成更好的架构

 

AUTOKERAS

• 开源与否：是
• 是否基于云平台：否
• 支持的模型类别：用于分类的卷积神经网路（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）
• 使用的技术：高效神经架构搜索（参见《Efficient NeuralArchitecture Search via Parameter Sharing》）
• 训练框架：Keras

本质：使用一个通过循环训练的 RNN 控制器，对候选架构（即子模型）进行采样，然后对其进行训练，以测量其在期望任务中的性能。使用了高效神经架构搜索（ENAS）（思想是：在特定任务上为特定模型学习的参数可以用于其他任务上的其他模型。因此，ENAS 迫使所有生成的子模型共享权值，从而刻意防止从头开始训练每一个子模型）

 

Auto-sklearn

• 开源与否：是
• 是否基于云平台：否
• 支持的模型类别：分类、回归
• 使用的技术：贝叶斯优化+自动集成构造
• 训练框架：sklearn

本质：使用了全部 38 个元特征来描述数据集，从中选择 k 个采样点作为贝叶斯优化的初始采样点（seed）。完成贝叶斯优化之后，它们会构建一个由所有尝试过的模型组成的集成模型。这一步的思路是将训练每个模型所做的努力都存储下来，最终构建出一个它们的集成模型