tensorflow2.0回归模型---如何用好keras对sklearn的api

之前写过如何用tf.keras搭建模型，那个时候埋下了一个伏笔，就是超参数搜索的问题。如何得到最好的模型，我们用sklearn的时候就是GridSearchCV或者RandomizedSearchCV，所以我今天想讲讲怎么通过tf.keras的api来实现超参数搜索。

1.看看官方文档的介绍

官方文档

发现调用这个api只需要写一个build_fn,也就是写一个搭建网络的函数，知道这个之后就来实战看看。

2.实现超参数搜索

1. 首先导入数据集，我使用的是California Housing dataset
2. 切分好训练集，验证集和测试集，并且对数据标准化
3. 写好我们需要的网络模型，调用keras.wrappers.scikit_learn.KerasRegressor实现model可以使用sklearn的方法
4. 训练得到最好的参数以及模型

代码：

import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow import keras
import matplotlib
import matplotlib.pyplot as plt
import sklearn
import os,sys
from sklearn.datasets import fetch_california_housing

housing=fetch_california_housing()

house=pd.DataFrame(housing.data)
house.columns=housing.feature_names
house['price']=housing.target
house.info()
house.head(10)


from sklearn.model_selection import train_test_split

x_train_all,x_test,y_train_all,y_test=train_test_split(housing.data,housing.target,test_size=0.25,random_state=2)
x_train,x_valid,y_train,y_valid=train_test_split(x_train_all,y_train_all,test_size=0.25,random_state=2)



#标准化
from sklearn.preprocessing import StandardScaler

scaler=StandardScaler()
x_train_scaled=scaler.fit_transform(x_train)
x_valid_scaled=scaler.fit_transform(x_valid)
x_test_scaled=scaler.fit_transform(x_test)


#构建自己的模型
def build_model(hidden_layers=1,layer_size=30,learning_rate=3e-3):
    model=keras.models.Sequential()
    model.add(keras.layers.Dense(layer_size,activation="relu",input_shape=x_train.shape[1:]))
    for _ in range(hidden_layers-1):
        model.add(keras.layers.Dense(layer_size,activation="relu"))
    model.add(keras.layers.Dense(1))
    optimizer=keras.optimizers.SGD(learning_rate)
    model.compile(loss="mse",optimizer=optimizer)
    return model


import datetime
current_time = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = os.path.join('logs', current_time)
callbacks=[
    keras.callbacks.EarlyStopping(patience=3,min_delta=1e-3),
    keras.callbacks.TensorBoard(log_dir=logdir)
]

model=keras.wrappers.scikit_learn.KerasRegressor(build_model)

callback=[keras.callbacks.EarlyStopping(patience=3,min_delta=1e-3)]
#使用默认参数的模型
history=model.fit(x_train_scaled,y_train,validation_data=(x_valid_scaled,y_valid),epochs=100,callbacks=callback)


def plot_learning_curves(history):
    pd.DataFrame(history.history).plot(figsize=(8,5))
    plt.grid()
    plt.gca().set_ylim(0,1)
    plt.show()

plot_learning_curves(history)


#实现超参数搜索
from scipy.stats import reciprocal

param_distribution={
    "hidden_layers":[3,4],
    "layer_size":np.arange(24,27),
    "learning_rate":reciprocal(0.001,0.005)
}

#随机搜索
from sklearn.model_selection import RandomizedSearchCV

random_searchcv=RandomizedSearchCV(model,param_distribution,n_iter=10,verbose=0)
random_searchcv.fit(x_train_scaled,y_train,validation_data=(x_valid_scaled,y_valid),epochs=100)


print("得到的最好参数为:",random_searchcv.best_params_)
print("最好的得分为:",random_searchcv.best_score_)



model=random_searchcv.best_estimator_.model
history1=model.fit(x_train_scaled,y_train,validation_data=(x_valid_scaled,y_valid),epochs=100,callbacks=callbacks)

plot_learning_curves(history1)

print(model.evaluate(x_test_scaled,y_test,verbose=0))

默认参数的模型效果

使用随机搜索的结果

打开tensorboard看看模型

3.总结：

虽然使用超参数搜索很方便，但是也有一些需要注意的地方。比如需要知道哪些参数比较重要，就尽量精确；相反的就可以稍微放宽要求。毕竟不论是使用网格搜索还是随机搜索如果参数太多会导致计算时间很久。BTW，在使用超参数搜索的时候，我想把n_jobs设置成大于1的，运行就会报错，还没有找到很好的办法解决，这也就导致了对数据的计算时间会更久，终究调参还是一个需要经验的事情鸭！