深度强化学习系列: “超参数”与“网络结构”自动化设置方法---DeepHyper

可扩展的异步神经网络和超参数搜索深度神经网络方法

前言：

在深度学习和机器学习算法学习和训练的过程中，有两个非常让人头疼的问题

1. 超参数的设置
2. 神经网络结构的设计

这两个问题一直困扰每一个与神经网络有关的学习者，为了解决这些问题，谷歌公司开源了AutoML(貌似收费)。此外还有Keras（后期详解）等，本篇文章介绍一个自动化学习包： DeepHyper

DeepHyper是一种用于深度神经网络的自动化机器学习（AutoML）软件包。 它包括两个组成部分:
(1）神经架构搜索是一种自动搜索高性能深度神经网络架构的方法。
(2）超参数搜索是一种自动搜索给定深度神经网络的高性能超参数的方法。

DeepHyper提供了一个基础架构，旨在针对HPC(Hyper Parameters Search)系统中的神经架构和超参数搜索方法，可扩展性和可移植性进行实验研究。 为可扩展的超参数和神经架构搜索方法的实现和研究提供了一个通用接口。 在这个包中，其为用户提供了不同的模块：

• 基准（benchmark）：超参数或神经架构搜索的一组问题，用户可以使用它来比较我们的不同搜索算法或作为构建自己问题的示例。

• 评估者（evaluator）：一组有助于在不同系统和不同情况下运行搜索的对象，例如快速和轻型实验或长时间和重度运行。

• 搜索（search）：一组用于超参数和神经架构搜索的算法。 您还将找到一种模块化方法来定义新的搜索算法和用于超参数或神经架构搜索的特定子模块。

其结构如下：

一、Hyperparameter Search (HPS)搜索

（1）定义超参数问题

首先导入deephyper包，并设置问题和纬度

from deephyper.benchmark import HpProblem
Problem = HpProblem()
Problem.add_dim('nunits', (10, 20), 10)
print(Problem)
Problem
{
   'nunits': (10, 20)}

Starting Point
{
   'nunits': 10}

通过运行模型的函数，结果为类似{‘nunits’：10}的字典，但每个键的值将根据搜索的选择而改变。 下面看看如何为mnist数据上的多层Perceptron模型训练定义一个简单的运行函数。

'''Trains a simple deep NN on the MNIST dataset.
Gets to 98.40% test accuracy after 20 epochs
(there is *a lot* of margin for parameter tuning).
2 seconds per epoch on a K520 GPU.
'''

from __future__ import print_function

import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.optimizers import RMSprop

def run(params):
    nunits = params['nunits]

    batch_size = 128
    num_classes = 10
    epochs = 20

    # the data, split between train and test sets
    (x_train, y_train), (x_test, y_test) = mnist.load_data()

    x_train = x_train.reshape(60000, 784)
    x_test = x_test.reshape(10000, 784)
    x_train = x_train.astype('float32')
    x_test = x_test.astype('float32')
    x_train /= 255
    x_test /= 255
    print(x_train.shape[0], 'train samples')
    print(x_test.shape[0], 'test samples')

    # convert class vectors to binary class matrices
    y_train = keras.utils.to_categorical(y_train, num_classes)
    y_test = keras.utils.to_categorical(y_test, num_classes)

    model = Sequential()
    model.add(Dense(nunits, activation='relu', input_shape=(784,)))
    model.add(Dropout(0.2))
    model.add(Dense(512, activation='relu'))
    model.add(Dropout(0.2))
    model.add(Dense(num_classes, activation='softmax'))

    model.summary()

    model.compile(loss='categorical_crossentropy',
                optimizer=RMSprop(),
                metrics=['accuracy'])

    history = model.fit(x_train, y_train,
                        batch_size=batch_size,
                        epochs=epochs,
                        verbose=1,
                        validation_data=(x_test, y_test))
    score = model.evaluate(x_test, y_test, verbose=0)
    print('Test loss:', score[0])
    print('Test accuracy:', score[1])

    return -score[1]

现在，如果您想要搜索上一个问题和模型。 假设问题是在“package_name/problem.py” 中定义，模型在package_name/mnist_mlp.py 中定义。 如果使用命令行运行AMBS之类的搜索：

python ambs.py --problem package_name.problem.Problem --run package_name.mnist_mlp.run

（2）Asynchronous Model-Base Search (AMBS)

论文：点击阅读

class deephyper.search.hps.ambs.AMBS(problem, run, evaluator, **kwargs)

(3) Genetic Algorithm (GA)

接口类

class deephyper.search.hps.ga.GA(problem, run, evaluator, **kwargs)

完整代码