使用XGBoost做多元回归模型
下面是一个使用Python脚本来实现基于XGBoost的回归模型,并对其进行常规评价的方法。这个脚本包括了数据预处理、模型训练和评价步骤。
请确保你已经安装了所需的库,可以通过以下命令进行安装:
pip install pandas numpy scikit-learn xgboost
接下来是Python脚本:
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
import xgboost as xgb
# 假设你的数据已经存储在一个名为 'data.csv' 的文件中
# 请根据实际文件路径修改以下代码
data = pd.read_csv('data.csv')
# 选择特征和目标变量
features = ['gender', 'BBB']
target = 'CCC'
X = data[features]
y = data[target]
# 将类别特征转换为数值特征(如果有)
X = pd.get_dummies(X)
# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建XGBoost回归模型
xgb_regressor = xgb.XGBRegressor(objective='reg:squarederror', random_state=42)
# 使用GridSearchCV来调优模型超参数
param_grid = {
'n_estimators': [100, 200, 300],
'learning_rate': [0.01, 0.1, 0.2],
'max_depth': [3, 5, 7],
'subsample': [0.7, 0.8, 0.9],
'colsample_bytree': [0.7, 0.8, 0.9]
}
grid_search = GridSearchCV(estimator=xgb_regressor, param_grid=param_grid,
scoring='neg_mean_squared_error', cv=3, verbose=2, n_jobs=-1)
grid_search.fit(X_train, y_train)
# 输出最佳超参数
print("Best parameters found: ", grid_search.best_params_)
# 使用最佳超参数训练最终模型
best_xgb_regressor = grid_search.best_estimator_
# 预测测试集
y_pred = best_xgb_regressor.predict(X_test)
# 评价模型表现
mse = mean_squared_error(y_test, y_pred)
mae = mean_absolute_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"Mean Squared Error (MSE): {mse}")
print(f"Mean Absolute Error (MAE): {mae}")
print(f"R-squared (R2): {r2}")
# 输出特征重要性
import matplotlib.pyplot as plt
xgb.plot_importance(best_xgb_regressor)
plt.show()
脚本说明
数据加载和预处理:
- 读取数据文件。
- 选择特征和目标变量。
- 如果有类别特征,将其转换为数值特征。
数据集拆分:
- 将数据集拆分为训练集和测试集。
模型创建和超参数调优:
- 创建XGBoost回归模型。
- 使用GridSearchCV进行超参数调优。
模型训练和预测:
- 使用最佳超参数训练最终模型。
- 对测试集进行预测。
模型评价:
- 计算均方误差(MSE)、平均绝对误差(MAE)和R-squared(R2)来评价模型表现。
特征重要性:
- 输出并显示特征重要性。
请根据实际情况调整数据文件路径和特征名。如果需要进一步的帮助,请告诉我。