ML(10) - 模型训练技巧

---

交叉验证

• API：sklearn.model_selection.cross_val_score

• 数据通常分为三层：训练数据+验证数据+测试数据。

• 模型通过训练数据+验证数据调整解决过拟合欠拟合等问题，最后使用测试数据得到最终衡量评分。
  

• 交叉验证：将训练数据集分成K份，每次取k-1份进行训练，剩1份作为验证。 结果采用這k次测试的均值。Eg：k=3
  

• 留一法LOO-CV(Leave-One-Out Cross Validation)
  把样本总数为m的数据集分成m份，称为留一法。每次就取一个样本作为测试集。
  优点：完全不受随机的影响，最接近模型真正的性能指标。
  缺点：计算量巨大。

'''Scikit-Learn中的交叉验证'''
import numpy as np
from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score

digits = datasets.load_digits()
X = digits.data
y = digits.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=666)

knn_clf = KNeighborsClassifier(weights="distance", n_neighbors=6, p=2)

# cv=3 ---> 3折交叉验证
cross_val_score(knn_clf, X_train, y_train，cv=3)
>>> 得到数组: array([ 0.98895028,  0.97777778,  0.96629213]), 分别是三次模型的性能。

Pipeline

• API：sklearn.pipeline.Pipeline
• scikit-learn提供一次性合并多种操作，一次性执行的方法。
• 以LinearRegression多项式回归为例：

'''scikit-learn中的pipeline'''
import numpy as np 
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, 100)

poly_reg = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("std_scaler", StandardScaler()),
    ("lin_reg", LinearRegression())
])

poly_reg.fit(X, y)
y_predict = poly_reg.predict(X)

网格搜索

• API：sklearn.model_selection.GridSearchCV
• 用于搜索最佳参数的方法之一。
• 网格搜素中默认使用交叉验证，同样通过参数cv控制分成几折验证，默认3。

'''scikit-learn中的网格搜索'''
import numpy as np
from sklearn import datasets
from sklearn.neighbors import KneighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV

digits = datasets.load_digits()
X = digits.data
y = digits.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=666)

# 在参数weights使用distance是考虑参数p(搜索规则可以分开使用多个{}写)。
param_grid = [
    {
   
        'weights': ['uniform'], 
        'n_neighbors': [i for i in range(1, 11)]
    },
    {
   
        'weights': ['distance'],
        'n_neighbors': [i for i in range(1, 11)], 
        'p': [i for i in range(1, 6)]
    }
]

# 创立一个空的knn对象
knn_clf = KNeighborsClassifier() 
# n_jobs 表示使用电脑的核心进行训练搜索,-1代表全部.
# verbose 表示在搜索过程中，显示相应的信息，数字越大越详细。
# cv=10 10折交叉验证
grid_search = GridSearchCV(knn_clf, param_grid, n_jobs=-1, verbose = 2,cv = 10) 
# 训练搜索参数
grid_search.fit(X_train, y_train) 
# 返回最佳准确率
grid_search.best_score_ 
# 返回搜索出的最佳参数
grid_search.best_params_  
# 返回最佳的模型对象
knn_clf = grid_search.best_estimator_ 
# 使用网格搜索出的最佳参数模型，进行预测
knn_clf.predict(x_test) 

• 网格搜索和Pipeline的联合使用。
• 以LogisticRegression多项式回归为例：

'''	因为pipeline中有多个步骤和多个方法，因此使用网格搜索法时，
	输入的参数命名要使用pipeline中定义的 “步骤名+双下划线+参数名”。
	这样才能告知网格搜索哪个参数是pipeline中哪个方法的的参数。
'''
import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

digits = datasets.load_digits()
X = digits.data
y = digits.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_si