train_test_split、cross_val_score与GridSearchCV的区别、联系与应用

今天在优化模型的时候碰到了一件头疼的事：

 train_test_split、cross_val_score与GridSearchCV貌似是三个非常相近的概念，它们都包含交叉验证的相关知识。在我查询的相关案例中三者也都有相应的出现，但比较杂乱，此处对此尽量做出一个我个人的理解和思考。

1、train_test_split（简单交叉验证）

首先要明确交叉验证的概念和目标。

交叉验证是在机器学习建立模型和验证模型参数时常用的办法，一般被用于评估一个机器学习模型的表现。更多的情况下，我们也用交叉验证来进行模型选择(model selection)。

交叉验证用在数据不是很充足的时候。如果数据样本量小于一万条，我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集，最终决定使用哪个模型以及对应参数。

在划分该三部分的数据时，都可以使用train_test_split
sklearn.model_selection.train_test_split(*arrays, **options)
train_data：所要划分的样本特征集
train_target࿱