神经网络的建立，回调函数与对神经网络进行参数调整

       使用顺序API对回归神经网络的建立：

       由于是回归问题，所以输出层只有一个神经元，这里是加利福尼亚的房价作为例子进行模型的建立，编译，训练与评估。

from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import tensorflow as tf
from tensorflow import keras
housing =fetch_california_housing()
x_train,x_test,y_train,y_test =train_test_split(housing.data,housing.target)
x_train_new,x_val,y_train_new,y_val =train_test_split(x_train,y_train)
scaler =StandardScaler()
x_train=scaler.fit_transform(x_train_new)
x_test=scaler.fit_transform(x_test)
x_val =scaler.fit_transform(x_val)
model =keras.models.Sequential([
    keras.layers.Dense(30,activation='relu',input_shape=x_train.shape[1:]),
    keras.layers.Dense(1)
])
model.compile(loss='mean_squared_error',optimizer='sgd')
history = model.fit(x_train,y_train_new,epochs=20,validation_data=(x_val,y_val))
mse_test =model.evaluate(x_test,y_test)

        使用函数式API构建复杂的模型：        

        对于复杂模型来说，最重要的特点是需要对连接顺序进行明确，eg：hidden1 =keras.layers.Dense()(input),例如这样进行连接。同时，如果需要对对个神经元进行合并，需要使用Concatenate函数，keras.layers.concatenate()([A,B]),A,B为需要合并的输入神经元。对于复杂函数来说，可以拥有多个输出与输入，keras.Model(inputs=[A,B],outputs=[C,D])。

       对隐藏层进行明确排序与合并

input = keras.layers.Input(shape=x_train_new.shape[1:])
hidden1 =keras.layers.Dense(30,activation='relu')(input)
hidden2 = keras.layers.Dense(30,activation='relu')(hidden1)
concat=keras.layers.Concatenate()([input,hidden2])
output =keras.layers.Dense(1)(concat)
model =keras.Model(inputs=[input],outputs=[output])

        建立多输入神经元的复杂模型

input_a =keras.layers.Input(shape=[5],name='widen_input')
input_b =keras.layers.Input(shape=[6],name='deep_input')
hidden1 =keras.layers.Dense(30,activation='relu')(input_b)
hidden2 =keras.layers.Dense(30,activation='relu')(hidden1)
concat =keras.layers.concatenate([input_a,hidden2])
output =keras.layers.Dense(1,name='output')(concat)
model = keras.Model(inputs=[input_a,input_b],outputs=[output])
model.compile(loss='mse',optimizer=keras.optimizers.SGD(lr=1e-3))
x_train_a,x_train_b=x_train[:,:5],x_train[:,2:]
x_val_a,x_val_b=x_val[:,:5],x_val[:,2:]
x_test_a,x_test_b=x_test[:,:5],x_test[:,2:]
history =model.fit((x_train_a,x_train_b),y_train_new,epochs=20,validation_data=((x_val_a,x_val_b),y_val))
mse_test=model.evaluate((x_test_a,x_test_b),y_test)
mse_test

         拥有多输入与多输出的复杂模型

input_a =keras.layers.Input(shape=[5],name='widen_input')
input_b =keras.layers.Input(shape=[6],name='deep_input')
hidden1 =keras.layers.Dense(30,activation='relu')(input_b)
hidden2 =keras.layers.Dense(30,activation='relu')(hidden1)
concat =keras.layers.concatenate([input_a,hidden2])
output =keras.layers.Dense(1,name='output')(concat)
aux_output=keras.layers.Dense(1,name='aux_output')(hidden2)
model=keras.Model(inputs=[input_a,input_b],outputs=[output,aux_output])
model.compile(loss=['mse','mse'],loss_weights=[0.9,0.1],optimizer='sgd')
history=model.fit([x_train_a,x_train_b],[y_train_new,y_train_new],epochs=20,validation_data=([x_val_a,x_val_b],[y_val,y_val]))
total_loss,main_loss,aux_loss =model.evaluate([x_test_a,x_test_b],[y_test,y_test])
total_loss,main_loss,aux_loss

        回调函数：

        回调函数是神经网络中保存模型状态的一个函数，一般用于在训练模型时，保存模型的最好状态。对于回调函数来说首先先得建立检查点，在建立检查点值之前需要对初始模型进行保存。然后，在训练中，在超参数callbacks中填入检查点这样可以让函数在训练时保存最好效果的模型。最后通过model.keras.load_model()来输出效果最好的模型。   

model.save('my_keras_model.h5')
checkpoint_cb =keras.callbacks.ModelCheckpoint('my_keras_model.h5',save_best_only=True)
history=model.fit([x_train_a,x_train_b],[y_train_new,y_train_new],epochs=20,callbacks=[checkpoint_cb])

        建立提前停止法（EarlyStopping）

        keras.callbacks.EarlyStopping(patience,restore_best_weights):patience为如果结果在这个次数内为减小，则停止。restore_best_weights为保存最佳权重。

early_stopping_cb =keras.callbacks.EarlyStopping(patience=10,
                                                restore_best_weights=True)
history=model.fit([x_train_a,x_train_b],[y_train_new,y_train_new],epochs=20,validation_data=([x_val_a,x_val_b],[y_val,y_val]),callbacks=[checkpoint_cb,early_stopping_cb])

        对神经网络进行参数调整：

        由于神经网络相对静止，所以为了方便神经网络进行调整，需要用子类API建立神经网络，即定义一个方法：参数为：hidden的个数，neurons的个数，learning_rate等等。

        在进行调参之前，需要让神经网络被包装乘sklearn，需要使用keras.wrappers.sciikit_learn.kerasRegressor/kerasClassifier(回归与分类)，然后就可以使用两种调参方式。

import tensorflow as tf
from tensorflow import keras
def build_model(n_hidden=1,n_neurons=30,learning_rate=3e-3,input_shape=[8]):
    model =keras.models.Sequential()
    model.add(keras.layers.InputLayer(input_shape=input_shape))
    for layer in range(n_hidden):
        model.add(keras.layers.Dense(n_neurons,activation='relu'))
    model.add(keras.layers.Dense(1))
    optimizer =keras.optimizers.SGD(lr=learning_rate)
    model.compile(loss='mse',optimizer=optimizer)
    return model
keras_reg = keras.wrappers.scikit_learn.KerasRegressor(build_model)
keras_reg.fit(x_train,y_train_new,epochs=100,validation_data=[x_val,y_val],
                callbacks=[keras.callbacks.EarlyStopping(patience=10)])
mse_test = keras_reg.score(x_test,y_test)
from scipy.stats import reciprocal
from sklearn.model_selection import RandomizedSearchCV
import numpy as np
params_grid={'n_hidden':[0,1,2,3],
            'n_neurons':np.arange(1,100),
            'learning_rate':reciprocal(3e-4,3e-2)}
rnd_search_cv = RandomizedSearchCV(keras_reg,params_grid,n_iter=10,cv=3)
rnd_search_cv.fit(x_train,y_train_new,epochs=100,validation_data=(x_val,y_val),
                 callbacks=[keras.callbacks.EarlyStopping(patience=10)])
rnd_search_cv.best_params_
rnd_search_cv.best_score_
model =rnd_search_cv.best_estimator_.model
model.evaluate(x_test,y_test)