使用随机森林做回归模型

使用随机森林做回归模型

好的，以下是一个使用Python脚本来实现基于随机森林的回归模型，并对其进行常规评价的方法。这个脚本包括了数据预处理、模型训练和评价步骤。

请确保你已经安装了所需的库，可以通过以下命令进行安装：

pip install pandas numpy scikit-learn

接下来是Python脚本：

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score

# 假设你的数据已经存储在一个名为 'data.csv' 的文件中
# 请根据实际文件路径修改以下代码
data = pd.read_csv('data.csv')

# 选择特征和目标变量
features = ['genderAAA', 'BBBB']
target = 'CCCC'

X = data[features]
y = data[target]

# 将类别特征转换为数值特征（如果有）
X = pd.get_dummies(X)

# 拆分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建随机森林回归模型
rf_regressor = RandomForestRegressor(random_state=42)

# 使用GridSearchCV来调优模型超参数
param_grid = {
    'n_estimators': [100, 200, 300],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4],
    'bootstrap': [True, False]
}

grid_search = GridSearchCV(estimator=rf_regressor, param_grid=param_grid, 
                           scoring='neg_mean_squared_error', cv=3, verbose=2, n_jobs=-1)

grid_search.fit(X_train, y_train)

# 输出最佳超参数
print("Best parameters found: ", grid_search.best_params_)

# 使用最佳超参数训练最终模型
best_rf_regressor = grid_search.best_estimator_

# 预测测试集
y_pred = best_rf_regressor.predict(X_test)

# 评价模型表现
mse = mean_squared_error(y_test, y_pred)
mae = mean_absolute_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f"Mean Squared Error (MSE): {mse}")
print(f"Mean Absolute Error (MAE): {mae}")
print(f"R-squared (R2): {r2}")

# 输出特征重要性
import matplotlib.pyplot as plt

importances = best_rf_regressor.feature_importances_
indices = np.argsort(importances)[::-1]

plt.figure()
plt.title("Feature importances")
plt.bar(range(X.shape[1]), importances[indices], align="center")
plt.xticks(range(X.shape[1]), X.columns[indices], rotation=90)
plt.xlim([-1, X.shape[1]])
plt.show()

脚本说明

1. 数据加载和预处理：

   • 读取数据文件。
   • 选择特征和目标变量。
   • 如果有类别特征，将其转换为数值特征。

2. 数据集拆分：

   • 将数据集拆分为训练集和测试集。

3. 模型创建和超参数调优：

   • 创建随机森林回归模型。
   • 使用GridSearchCV进行超参数调优。

4. 模型训练和预测：

   • 使用最佳超参数训练最终模型。
   • 对测试集进行预测。

5. 模型评价：

   • 计算均方误差（MSE）、平均绝对误差（MAE）和R-squared（R2）来评价模型表现。

6. 特征重要性：

   • 输出并显示特征重要性。

请根据实际情况调整数据文件路径和特征名。如果需要进一步的帮助，请告诉我。