在XGBoost中通过Early Stop避免过拟合（练习）

来源：https://www.jianshu.com/p/f0ffa8a93327

1.首先先计算

• 在调用model.fit()函数时，可以指定测试数据集和评价指标，同时设置verbose参数为True，这样就可以在训练过程中输出模型在测试集的表现。
• e.g
  • 通过下面的方法在使用XGBoost训练二分类任务时输出分类错误率（通过“error”指定）：

eval_set = [(X_test, y_test)]
model.fit(X_train, y_train, eval_metric="error", eval_set=eval_set, verbose=True)

XGBoost提供了一系列的模型评价指标，包括但不限于：
	
	 - “rmse” 代表均方根误差
	 -  “mae” 代表平均绝对误差
	 -  “logloss” 代表二元对数损失
	 -  “mlogloss” 代表m-元对数损失
	 -  “error” 代表分类错误率
	 -  “auc” 代表ROC曲线下面积

• 完整代码：

import pandas as pd
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

dataset = pd.read_csv("C:\\Users\\Nihil\\Documents\\pythonlearn\\data\\pima-indians-diabetes.data.csv")

X = dataset.iloc[:,0:8]
y = dataset.iloc[:,8]

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.33,random_state=7)
model = XGBClassifier()
eval_set =[(X_test,y_test)]
model.fit(X_train,y_train,eval_metric='error',eval_set=eval_set,verbose=True)

y_pred = model.predict(X_test)
predictions = [round(value) for value in y_pred]
print(y_pred)
print(predictions)

关于

y_pred = model.predict(X_test)
predictions =