sklearn中模型构建、参数调优、模型验证等的使用

1、参数选择
使用sklearn中算法进行建模时，算法接口提供默认的参数，为了提高模型的性能，往往需要对模型进行调参，sklearn提供两种参数搜索方式：一种是GridSearchCV搜索指定参数空间所有参数组合；另一种是RandomizedSearchCV 从特定分布的参数空间中，选择一些参数组合进行搜索。

from sklearn.linear_model import LinearRegression, LogisticRegression # 线性模型
from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier # 集成学习模型
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV # 两种参数选择方式
"GridSearchCV搜索指定参数空间中所有参数的组合，所以适用于数据集较小情况下使用"
# 创建模型
lr = LogisticRegression()
# 设置参数集合
tuned_parameters = [{
   'penalty':(