2.17 sklearn封装keras函数+自动搜索超参数

本文介绍如何使用KerasRegressor将Keras模型转换为Scikit-Learn模型,以便利用RandomizedSearchCV进行超参数搜索。通过定义模型构建函数、设置参数分布和执行随机搜索,实现对隐藏层数量、层大小及学习率的有效优化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

sklearn封装keras函数:

keras.wrappers.scikit_learnKerasRegressor
keras.wrappers.scikit_learnKerasRegressor函数

思路

RandomizedSearchCV

1.转化为sklearn的model
2.定义参数集合
3.搜索参数

核心

#定义model函数,作为keras.wrappers.scikit_learnKerasRegressor的参数
def build_model(hidden_layers=1,
                layer_size=30,
                learning_rate=3e-3):
    model=keras.models.Sequential()
    model.add(keras.layers.Dense(layer_size,activation='relu',input_shape=x_train.shape[1:]))
    for i in range(hidden_layers-1):
        model.add(keras.layers.Dense(layer_size,activation='relu'))
    model.add(keras.layers.Dense(1))
    optimizer=keras.optimizers.SGD(learning_rate)
    model.compile(loss='mse',optimizer=optimizer)
    return model
#keras.wrappers.scikit_learn.KerasRegressor
sklearn_model=keras.wrappers.scikit_learn.KerasRegressor(build_model)
callbacks=[keras.callbacks.EarlyStopping(patience=5,min_delta=1e-2)]
history=sklearn_model.fit(x_train_scaled,y_train,
                          epochs=100,
                          validation_data=(x_valid_scaled,y_valid),
                          callbacks=callbacks)
def plot_learning_curves(history):
    pd.DataFrame(history.history).plot(figsize=(8,5))
    plt.grid(True)#网格
    plt.gca().set_ylim(0,1)#坐标轴范围
    plt.show()

plot_learning_curves(history)
#注意!!!
#KerasRegressor' object has no attribute 'evaluate'
'''
test_score=sklearn_model.evaluate(x_test_scaled,y_test)
#打印出每个参数是什么意思
#print(model.metrics_names)
print('{:.2f}'.format(test_score))

自动搜索超参数

from scipy.stats import reciprocal
#f(x)=1/(x*log(b/a)) a<=x<=b
param_distribution={
    "hidden_layers":[1,2,3,4],
    "layer_size":np.arrange(1,100),
    "learning_rate":reciprocal(1e-4,1e-2),
}

from sklearn.model_selection import RandomizedSearchCV

random_search_cv=RandomizedSearchCV(sklearn_model,
                                    param_distribution,
                                    n_iter=10,#从param_distribution里形成多少个参数集合
                                    n_jobs=5#并行处理的个数
                                    )
random_search_cv.fit(x_train_scaled,y_train,epochs=100,
                     validation_data=(x_valid_scaled,y_valid),
                     callbacks=callbacks)
#最好的参数
print(random_search_cv.best_params_)
#最好的峰值
print(random_search_cv.best_score_)
#最好的模型
print(random_search_cv.best_estimator_)

model=random_search_cv.best_estimator_.model
model.evaluate(x_test_scaled,y_test)


全部

#RandomizedSearchCV
#1.转化为sklearn的model
#2.定义参数集合
#3.搜索参数
def build_model(hidden_layers=1,
                layer_size=30,
                learning_rate=3e-3):
    model=keras.models.Sequential()
    model.add(keras.layers.Dense(layer_size,activation='relu',input_shape=x_train.shape[1:]))
    for i in range(hidden_layers-1):
        model.add(keras.layers.Dense(layer_size,activation='relu'))
    model.add(keras.layers.Dense(1))
    optimizer=keras.optimizers.SGD(learning_rate)
    model.compile(loss='mse',optimizer=optimizer)
    return model
#keras.wrappers.scikit_learn.KerasRegressor
sklearn_model=keras.wrappers.scikit_learn.KerasRegressor(build_model)
callbacks=[keras.callbacks.EarlyStopping(patience=5,min_delta=1e-2)]
history=sklearn_model.fit(x_train_scaled,y_train,
                          epochs=100,
                          validation_data=(x_valid_scaled,y_valid),
                          callbacks=callbacks)

'''
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值