使用XGBoost做多元回归模型

使用XGBoost做多元回归模型

下面是一个使用Python脚本来实现基于XGBoost的回归模型，并对其进行常规评价的方法。这个脚本包括了数据预处理、模型训练和评价步骤。

请确保你已经安装了所需的库，可以通过以下命令进行安装：

pip install pandas numpy scikit-learn xgboost

接下来是Python脚本：

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
import xgboost as xgb

# 假设你的数据已经存储在一个名为 'data.csv' 的文件中
# 请根据实际文件路径修改以下代码
data = pd.read_csv('data.csv')

# 选择特征和目标变量
features = ['gender', 'BBB']
target = 'CCC'

X = data[features]
y = data[target]

# 将类别特征转换为数值特征（如果有）
X = pd.get_dummies(X)

# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建XGBoost回归模型
xgb_regressor = xgb.XGBRegressor(objective='reg:squarederror', random_state=42)

# 使用GridSearchCV来调优模型超参数
param_grid = {
    'n_estimators': [100, 200, 300],
    'learning_rate': [0.01, 0.1, 0.2],
    'max_depth': [3, 5, 7],
    'subsample': [0.7, 0.8, 0.9],
    'colsample_bytree': [0.7, 0.8, 0.9]
}

grid_search = GridSearchCV(estimator=xgb_regressor, param_grid=param_grid, 
                           scoring='neg_mean_squared_error', cv=3, verbose=2, n_jobs=-1)

grid_search.fit(X_train, y_train)

# 输出最佳超参数
print("Best parameters found: ", grid_search.best_params_)

# 使用最佳超参数训练最终模型
best_xgb_regressor = grid_search.best_estimator_

# 预测测试集
y_pred = best_xgb_regressor.predict(X_test)

# 评价模型表现
mse = mean_squared_error(y_test, y_pred)
mae = mean_absolute_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f"Mean Squared Error (MSE): {mse}")
print(f"Mean Absolute Error (MAE): {mae}")
print(f"R-squared (R2): {r2}")

# 输出特征重要性
import matplotlib.pyplot as plt

xgb.plot_importance(best_xgb_regressor)
plt.show()

脚本说明

1. 数据加载和预处理：

   • 读取数据文件。
   • 选择特征和目标变量。
   • 如果有类别特征，将其转换为数值特征。

2. 数据集拆分：

   • 将数据集拆分为训练集和测试集。

3. 模型创建和超参数调优：

   • 创建XGBoost回归模型。
   • 使用GridSearchCV进行超参数调优。

4. 模型训练和预测：

   • 使用最佳超参数训练最终模型。
   • 对测试集进行预测。

5. 模型评价：

   • 计算均方误差（MSE）、平均绝对误差（MAE）和R-squared（R2）来评价模型表现。

6. 特征重要性：

   • 输出并显示特征重要性。

请根据实际情况调整数据文件路径和特征名。如果需要进一步的帮助，请告诉我。