机器学习之验证方式理解

简单交叉验证

 

 方法：将原始数据集随机划分成训练集和验证集两部分。

      比如，将样本按照70%~30%的比例分成两部分，70%的样本用于训练模型；30%的样本用于模型验证。
缺点：（1）数据都只被所用了一次，没有被充分利用
          （2）在验证集上计算出来的最后的评估指标与原始分组有很大关系。

代码

X_train,X_test, y_train, y_test =cross_validation.train_test_split(X,y,test_size, random_state)

k折交叉验证

 为了解决简单交叉验证的不足，提出k-fold交叉验证。 

1、首先，将全部样本训练集划分成k个大小相等的样本子集；
2、依次遍历这k个子集，每次把当前子集作为验证集，其余所有样本作为训练集，进行模型的训练和评估；
3、最后把k次评估指标的平均值作为最终的评估指标。在实际实验中，k通常取10.

举个例子：这里取k=10，如下图所示：

 1）先将原数据集分成10份
（2）每一将其中的一份作为测试集，剩下的9个（k-1）个作为训练集，此时训练集就变成了k * D（D表示每一份中包含的数据样本数）

（3）最后计算k次求得的评价指标的平均值，作为该模型或者假设函数的真实评价分数

代码

from sklearn.model_selection import KFold
import numpy as np
X = np.arange(24).reshape(12,2)
y = np.random.choice([1,2],12,p=[0.4,0.6])
kf = KFold(n_splits=5,shuffle=False)  # 初始化KFold
for train_index , test_index in kf.split(X):  # 调用split方法切分数据
    print('train_index:%s , test_index: %s ' %(train_index,test_index))

 留一法交叉验证（适合小样本数据集）

只从可用的数据集中保留一个数据点，并根据其余数据训练模型。此过程对每个数据点进行迭代，比如有n个数据点，就要重复交叉验证n次。例如下图，一共10个数据，就交叉验证十次

 优点：

适合小样本数据集
利用所有的数据点，因此偏差将很低
缺点：

重复交叉验证过程n次导致更高的执行时间
测试模型有效性的变化大。因为针对一个数据点进行测试，模型的估计值受到数据点的很大影响。如果数据点被证明是一个离群值，它可能导致更大的变化

留p法交叉验证

留一法是保留一个数据点，同样的你也可以保留P个数据点作为验证集，这种方法叫LPOCV(Leave P Out Cross Validation)留p法交叉验证