1、模型验证
一般很少在神经网络里用交叉验证,只需要划分训练集和验证集即可。在下面的参数中可以设置验证集比例(validation_split):
model = get_new_model(input_shape)
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train_titanic, y_train_titanic, validation_split=0.3, epochs=10)
2、早停Early Stopping
选择一个验证集的指标进行检测,防止训练过度导致的过拟合。
monitor被监督的指标;patience允许指标连续几次不提升;verbose是否打印训练过程;restore_best_weights是否保存最优参数。
在fit里面加了callbacks这个参数。
from keras.callbacks import EarlyStopping
early_stopping_monitor = EarlyStopping(
monitor="val_loss",
min_delta=0,
patience=3,
verbose=1,
mode="auto",
baseline=None,
restore_best_weights=True,
)
model = get_new_model(input_shape)
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(X_train_titanic, y_train_titanic, validation_split=0.3, epochs=50,
callbacks=[early_stopping_monitor])
3、增加和回滚模型的复杂程度
有两种方法调整,一是隐层数量,二是节点数量。
4、学习率衰减
需要首先定义优化器,然后定义衰减方式。
#指数衰减
optimizer_ExpLR = torch.optim.SGD(net.parameters(), lr=0.1)
ExpLR = torch.optim.lr_scheduler.ExponentialLR(optimizer_ExpLR, gamma=0.98)
#固定步长衰减
optimizer_StepLR = torch.optim.SGD(net.parameters(), lr=0.1)
StepLR = torch.optim.lr_scheduler.StepLR(optimizer_StepLR, step_size=step_size, gamma=0.65)