一、数据集的划分
(一)学习目标
在理想情况下,通过机器学习,我们希望可以获得一个拥有出色泛化能力的模型。即能够在前所未见的数据样本上举一反三,正确分析预测。
(二)假设
1、全部数据集作为训练集
只要选取模型适当,在若干轮迭代轮次后一定能够得到在训练集上性能优越的模型。但其泛化能力不得而知。
2、划分为训练集和测试集
增加了测试集部分,在训练集上训练模型,在测试集上评估模型并作为泛化能力的指标。但总是基于同一个测试集进行参数调整,即使可以进一步得到在测试集上表现优秀的模型,但模型在测试集上过拟合不可避免(Information Leak)。
(三)训练集、验证集、测试集
因此,为了获得模型性能的可靠评价,将数据划分为训练集、验证集、测试集三个部分是一种合理的方式。
二、经典评估方法
(一)留出验证(Hold-out Validation)
1、介绍
Hold-out Validation是最简单、经典的模型评估方式。首先将数据集划分为训练集和测试集,再随机打乱训练集数据并划分为训练集和验证集。
2、实现
def holdout_val(x, y):
size_of_val = x.shape[0] // 4
seed = np.random.randint(0, 100, 1).squeeze()
np.random.seed(seed)
np.random.shuffle(x)
np.random.seed(seed)
np.random.shuffle(y)
val_x = x[:size_of_val]
val_y = y[:size_of_val]
train_x = x[size_of_val:]
train_y = y[size_of_val:]
model = build_model(x.shape[1])
his = model.fit(train_x, train_y, validation_data=(val_x, val_y), epochs=100, batch_size=16, verbose=0)
val_mae = his.history['val_mae'][-1]
print("Validation MAE: " + str(val_mae))
(二)K折交叉验证(K-flod Validation)
1、介绍
将训练集划分为K个不相交子集,执行K次验证,每个子集依次作为验证集,取K次验证性能的均值作模型性能评估。
2、实现
def kfold_val(x, y, k=4, epochs=200):
fold_size = x.shape[0] // k
res = np.zeros((k, epochs))
for i in range(k):
val_x = x[i * fold_size : (i + 1) * fold_size]
val_y = y[i * fold_size : (i + 1) * fold_size]
train_x = np.concatenate([x[:i * fold_size], x[(i + 1) * fold_size:]], axis=0)
train_y = np.concatenate([y[:i * fold_size], y[(i + 1) * fold_size:]], axis=0)
model = build_model()
his = model.fit(train_x, train_y, epochs=epochs, batch_size=16, validation_data=(val_x, val_y), verbose=0)
res[i] = his.history['val_mae']
return res.mean(axis=0)
(三)乱序K折交叉验证(Iterated K-fold Validation with shuffling)
1、介绍
执行P次K折交叉验证,每次K折交叉验证前将数据集顺序打乱。K * P次验证性能的均值作为模型性能指标。在小样本学习时可以更可靠的评估模型。
三、注意事项
1、为了使数据具备更好的代表性,应打乱数据在进行分割
2、数据与时序相关时,先做分割,再打乱顺序
3、确保划分各集合数据独立
四、训练集与验证测试集异分布模型
模型划分为:训练集、训练—验证集、验证集、测试集,则有:
1、贝叶斯误差和训练误差的差值视为可避免偏差(Avoidable Bias)
2、训练误差与训练-验证误差的差值视为方差(Variance)
3、训练-验证误差与验证误差的差值视为数据不匹配误差(Data Mismatch)
4、验证误差和测试误差的差值视为验证集过拟合误差(Degree of overfitting on dev-set)