微调神经网络超参数
keras.backend.clear_session()
np.random.seed(42)
tf.random.set_seed(42)`
首先创建一个函数,该函数在给定一组超参数的情况下构建并编译Keras模型
def build_model(n_hidden=1, n_neurons=30, learning_rate=3e-3, input_shape=[8]):
model = keras.models.Sequential()
model.add(keras.layers.InputLayer(input_shape=input_shape))
for layer in range(n_hidden):
model.add(keras.layers.Dense(n_neurons, activation="relu"))
model.add(keras.layers.Dense(1))
optimizer = keras.optimizers.SGD(learning_rate=learning_rate)
model.compile(loss="mse", optimizer=optimizer)
return model
上面的函数为单变量回归(仅输出一个神经元)创建简单的顺序模型。接下来基于上面的build_model()函数创建一个KerasRegressor:
keras_reg = keras.wrappers.scikit_learn.KerasRegressor(build_model)
使用上面代码块中的这种写法会产生报错:
DeprecationWarning: KerasRegressor is deprecated, use Sci-Keras
(https://github.com/adriangb/scikeras) instead.
意味着KerasRegressor已经被禁用。参考adriangb所提出的解决办法,改用Sci-Keras来写:
import scikeras
from scikeras.wrappers import KerasRegressor
这里没有安装scikeras的需要先在prompt中pip install scikeras一下。然后使用scikeras中的KerasRegressor就不会有问题了。接着基于上面的build_model()函数创建一个KerasRegressor:
keras_reg = KerasRegressor(build_model)
KerasRegressor对象是使用build_model()构建的Keras模型的一个包装。由于创建时未指定任何超参数,因此将使用我们在build_model()中定义的默认超参数,因而现在可以像常规Scikit-Learn回归器一样使用该对象。
我们可以使用其fit()方法进行训练,然后使用其score()方法进行评估,接着使用其predict()方法进行预测:
keras_reg.fit(X_train, y_train, epochs=100,
validation_data=(X_valid, y_valid),
callbacks=[keras.callbacks.EarlyStopping(patience=10)])
mse_test = keras_reg.score(X_test, y_test)
X_new = X_test[:3]
y_pred = keras_reg.predict(X_new)
y_pred