数据集分割

步骤：

1、确定训练集和测试集是否同分布：

常用方法：

1）留出法：

实现：直接将数据集拆分为互斥的训练集、验证集和测试集。

划分比例：训练集：验证集：测试集=7：1.5：1.5

注意事项：单次使用留出法会导致模型不稳定。保证三种数据集中样本比例的相似性。适合大数据集。

例：1000个样本（正：600；负：400）。则训练集和测试集中正例和负例的比也要求为3：2。实现方式：随即分层抽样。

2）K值交叉验证法

实现：将数据集分为K个子集每次将K-1个数据集作为训练集剩余1个作为测试集重复K次后取平均测试结果作为最后结果输出。

优点：可以很好的解决留出法的缺点，且对数据量要求低。

当训练集和测试集不是同分布时应该尽可能使训练集和测试集的数据分布的属性一致，并找到更多与测试集样本相匹配的训练集数据。