机器学习系列：1. 随机森林回归：案例与运用

        随机森林回归是一种基于集成学习的算法，它通过构建多个决策树并将它们的预测结果进行集成来进行回归任务。在随机森林中，每棵决策树都是独立并在随机选择的子样本上进行训练的，从而有效地减小过拟合的风险。

        随机森林通过将多个决策树的预测结果进行平均或加权平均，从而得到最终的回归结果。通过调整决策树的数量，特征选择的方式和决策树的生长方式，可以提升模型的性能。此外，随机森林相比于CART等模型具有更强的鲁棒性，在众多领域实现了高精度预测。

        使用Python中Scikit-learn库的随机森林回归算法。

        在构造RFR模型时，对决策树的个数（n_estimators）、决策树最大深度（max_depth）、叶子节点含有的最小样本数（min_samples_leaf）、节点可分的最小样本数（min_samples_split）和构建决策树最优模型时考虑的最大特征数（max_features）这些参数进行网格搜索。

        决策树的个数对于模型的拟合程度有很大的影响，属于bagging框架的参数。而其他网格搜索的参数属于决策树的参数，是模型的拟合程度和模型的泛化能力的主要参数。通过网格搜索，确定模型的最佳参数。

        以下是一个案例来说明随机森林回归的运用：

import pandas as pd
data = pd.read_excel("F:\\...", sheet_name="...")

# 设定x和y
x = data.iloc[:, :15]
y = data.iloc[:,15]

# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train,x_test, y_train, y_test = train_test_split(x, y, train_size=0.8,test_size=0.2,random_state=42)

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score, mean_absolute_error

# 初始参数
rf_or= RandomForestRegressor(random_state=6)
rf_or.fit(x_train, y_train)

y_test_pred = rf_or.predict(x_test)
y_train_pred = rf_or.predict(x_train)

mse_or = mean_squared_error(y_test, y_test_pred)
mse_ort= mean_squared_error(y_train, y_train_pred)
r2_or = r2_score(y_test, y_test_pred)
r2_ort = r2_score(y_train, y_train_pred)

print(mse_or)
print(mse_ort)
print(r2_or)
print(r2_ort)
print(rf_or.feature_importances_)
print(rf_or.get_params())

# 参数调整1
rf_or= RandomForestRegressor(random_state=6, n_estimators=90, max_depth=24, max_features=14)
rf_or.fit(x_train, y_train)

y_test_pred = rf_or.predict(x_test)
y_train_pred = rf_or.predict(x_train)

mse_or = mean_squared_error(y_test, y_test_pred)
mse_ort= mean_squared_error(y_train, y_train_pred)
r2_or = r2_score(y_test, y_test_pred)
r2_ort = r2_score(y_train, y_train_pred)

print(mse_or)
print(mse_ort)
print(r2_or)
print(r2_ort)
print(rf_or.feature_importances_)
print(rf_or.get_params())

# 展示并保存数据
y_train_prediction = rf_or.predict(x_train)
y_train_prediction_file = pd.DataFrame(y_train_prediction)
y_train_prediction_file.to_excel("随机森林预测值：训练集.xlsx")

y_test_prediction = rf_or.predict(x_test)
y_test_prediction_file = pd.DataFrame(y_test_prediction)
y_test_prediction_file.to_excel("随机森林预测值：测试集.xlsx")