你还在用交叉验证吗？ 大神都开始用对抗验证（Adversarial validation）了

你还在用交叉验证吗？之前我是这么想的，交叉验证可以保证训练集和测试集都是随机选举，但是是否考虑过这样划分的数据集有可能特征分布不均匀？这样怎么能训练出高效的模型呢？
今天忽然发现了对抗验证，分享一下：

1、传统方法

在机器学习里，通常来说我们不能将全部用于数据训练模型，否则我们将没有数据集对该模型进行验证，从而评估我们的模型的预测效果。为了解决这一问题，有如下常用的方法：

1.1 直接划分

第一种是最简单的，也是很容易就想到的。我们可以把整个数据集分成两部分，一部分用于训练，一部分用于验证，这也就是我们经常提到的训练集（training set）和测试集（test set）。

如下图所示，我们将数据按序号排好，然后按我们所需的比例直接划分，我们可以将蓝色部分的数据作为训练集（包含7、22、13等数据），将右侧的数据作为测试集（包含91等），这样通过在蓝色的训练集上训练模型，在测试集上观察不同模型不同参数对应的MSE的大小，就可以合适选择模型和参数了，训练出我们所需模型。

存在弊端：
不确定因素较多，如果这样排序，以时间序列为例，很有可能在某个时刻发生一些不确定情况，这样如果这些样本全部分在一起，就会是训练样本和测试样本分布不均。

右边是十种不同的训练集和测试集划分方法得到的test MSE，可以看到，在不同的划分方法下，test MSE的变动是很大的，而且对应的最优degree也不一样。所以如果我们的训练集和测试集的划分方法不够好，很有可能无法选择到最好的模型与参数。

1.2 LOOCV

首先，我们先介绍LOOCV方法，即（Leave-one-out cross-validation）。像Test set approach一样，LOOCV方法也包含将数据集分为训练集和测试集这一步骤。但是不同的是，我们现在只用一个数据作为测试集，其他的数据都作为训练集，并将此步骤重复N次（N为数据集的数据数量）。

如上图所示，假设我们现在有n个数据组成的数据集，那么LOOCV的方法就是每次取出一个数据作为测试集的唯一元素，而其他n-1个数据都作为训练集用于训练模型和调参。结果就是我们最终训练了n个模型，每次都能得到一个MSE。而计算最终test MSE则就是将这n个MSE取平均。

缺点：计算量太大，是test set approach耗时的n-1倍。

1.3 k折交叉验证

另外一种折中的办法叫做K折交叉验证，和LOOCV的不同在于，我们每次的测试集将不再只包含一个数据，而是多个，具体数目将根据K的选取决定。比如，如果K=5，那么我们就是将数据分为5分，4分用于训练，1分用为验证，之后再选取其他份作为验证。利用五折交叉验证的步骤就是：

• 1.将所有数据集分成5份

• 2.不重复地每次取其中一份做测试集，用其他四份做训练集训练模型，之后计算该模型在测试集上的MSE

• 3.将5次的[公式]取平均得到最后的MSE
  

每一幅图种蓝色表示的真实的test MSE，而黑色虚线和橙线则分贝表示的是LOOCV方法和10-fold CV方法得到的test MSE。我们可以看到事实上LOOCV和10-fold CV对test MSE的估计是很相似的，但是相比LOOCV，10-fold CV的计算成本却小了很多，耗时更少。

2 对抗验证

2.1 样本分布不均匀

相信参加过kaggle等一些数据比赛的小伙伴们都有类似的体会，我在线下测试指标挺高的，但是提交之后，用没有公开的测试集，分数并没有那么高，这是为什么呢？

很重要的一个原因就是样本分布不均，我们超市购物为例，在周内，很多年轻人都要上班，没时间逛超市，所以去超市的老年人居多，而周末，很多上班族就是趁着这个时候去超市囤货。如果我们基于超市做预测，吧周一到周五的数据作为训练集，周六和周日的数据作为测试集，这显然存在不均匀的现象。

2.2 何时样本分布均匀？

刚才说了很多时候都有可能存在不均匀的情况，那么什么情况可以证明样本分布均匀呢？

这时候可以将训练样本和测试样本标记好好，合成一个数据集，训练一个分类器来区分训练/测试样本：

• 如果分类模型无法分辨样本（AUC接近0.5），则说明训练集和测试集数据分布比较一致；
• 如果分类模型可以很好分辨样本（AUC接近1），则说明训练集和测试集数据分布不太一致；

# 设置train数据集合test数据集的类别:
train = pd.read_csv( 'data/train.csv' )
test = pd.read_csv( 'data/test.csv' )
train['TARGET'] = 1
test['TARGET'] = 0

# 将train数据和test数据合并成一个数据
data = pd.concat(( train, test ))
data = data.iloc[ np.random.permutation(len( data )) ]
data.reset_index( drop = True, inplace = True )
x = data.drop( [ 'TARGET', 'ID' ], axis = 1 )
y = data.TARGET

# 重新划分一个新的train和test数据:
from sklearn.cross_validation import train_test_split
x_train, x_test, y_train, y_test = train_test_split( x, y, train_size = train_examples)

训练一个lr和rf分类器，训练结果如下:

logistic regression / AUC: 49.82%
random forest, 10 trees / AUC: 50.05%
random forest, 100 trees / AUC: 49.95%

在valid数据集上的结果如下:

logistic regression / AUC: 58.30%
random forest / AUC: 75.32%

在test数据集上的结果如下:

 logistic regression / AUC: 61.47%
random forest / AUC: 74.37%

看样子，valid数据跟test数据结果类似。

2.3 什么是对抗验证（Adversarial Validation）？

对抗验证（Adversarial Validation），并不是一种评估模型效果的方法，而是一种用来确认训练集和测试集的分布是否变化的方法。

对抗验证，通常是发现在训练集上模型表现得非常好，AUC非常高，此时如果采用k-fold交叉验证，模型在验证集上却表现非常糟糕。一种可能性就是训练集与测试集相差非常大。就如同许多数据科学竞赛都面临着测试集与训练集明显不同的问题（这违反了“相同分布”的假设）。因此很难建立一个具有代表性的验证集。对抗验证，选择与测试样本最相似的训练样本，并将其作为验证集，然而问题是，如何才能找到与测试集最相似的训练样本呢？这个方法的核心思想是：

• 划分数据集方面：训练一个分类器来区分训练/测试样本，之后用这个模型应用于训练集中，在训练集中，选取被预测为测试样本的前n%数据作为验证集，这些数据在分布上是最像真正测试集的数据。

• 选择特征方面：如何在这个模型中一个特征的重要性越高，那么这个特征在原本训练集和测试集的分布就越不相同，这种特征就需要被剔除。使用对抗验证，尽可能除去在训练集和测试集中分布差异太大的特征

2.4 步骤

• 1.建立一个分类器来区分train数据集和test数据集
  将train数据和test数据合并成一个数据中。并新增一个类别变量isTest，其中train数据中isTest为0，test数据中isTest为1。然后需要构建一个二元分类器（可以是任意分类器，比如RF，xgboost或lr等）来区分train数据和test数据。

• 2.将train数据的预测概率按递减顺序排序
  一旦训练完模型之后，接下来使用训练好的模型对train数据进行预测。得到一个拟合概率，对概率按递减顺序排序，那么，top的数据可以理解为很大的概率预测为test数据。

• 3.取train数据的top n%数据作为valid数据集
  比如取30%作为验证集，剩下的数据作为train数据来训练模型。

通过上述方法，得到valid数据集上的准确性度量应该与test数据上的相似。如果模型能够很好地预测valid数据，那么它应该也能够很好地预测test数据。

2.5 实战

具体来说，我们将使用交叉验证训练一个分类器，从而获得所有train数据的预测概率。然后我们将看到哪些train数据被错误地预测为test数据，并将它们当做valid数据。这意味着它们看起来像test数据，但实际上是trian数据。

i = predictions.argsort()
train['p'] = predictions
train_sorted = train.iloc[i]

按照概率排序结果，选取训练集前面一定样本量作为验证集。

val_size = 5000
train = data.iloc[:-val_size]
val = data.iloc[-val_size:]

这里只是大概写一下思路，没有具体举例，如果想看例子参照：
Adversarial validation
Adversarial validation, part one
Adversarial validation, part two
Adversarial_Validation_Case_Study

参考及扩展阅读：
《An Introduction to Statistical Learning with Applications in R》