【机器学习实战】用sklearn玩转随机森林，分类准确率提升秘籍！

在机器学习的世界里，随机森林算法以其出色的分类和回归能力而闻名。我们将深入sklearn库中的随机森林，探索如何通过实战提升模型的分类准确率。

一 随机森林算法简介

随机森林是一种集成学习方法，通过构建多个决策树并综合它们的预测结果来提高预测准确性。每个决策树都是在训练数据的一个随机子集上构建的，这种方法减少了模型间的相关性，从而增强了整体模型的泛化能力。

理论详情，请查看往期文章：揭秘Bagging与随机森林：构建更强大预测模型的秘密

二 sklean实战

在 SKLearn 中，随机森林算法被封装在RandomForestClassifier和RandomForestRegressor两个类中，分别用于分类和回归问题。这两个类提供了丰富的参数和方法，使得我们可以轻松地构建和调优随机森林模型。

1. 导入库和数据

首先，我们需要导入必要的库，并加载数据集。

import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report

# 加载数据
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 将数据划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

2. 创建随机森林分类器

创建一个随机森林分类器实例，并设定随机种子以保证结果的可重复性。

# 创建随机森林分类器实例
rf = RandomForestClassifier(random_state=42)

3. 定义超参数网格

定义一个超参数网格，用于GridSearchCV进行搜索。

# 定义超参数网格
param_grid = {
    'n_estimators': [50, 100, 200],  # 树的数量
    'max_depth': [None, 10, 20, 30],  # 树的最大深度
    'min_samples_split': [2, 5, 10],  # 内部节点再划分所需最小样本数
    'min_samples_leaf': [1, 2, 4]     # 叶子节点所需的最小样本数
}

4. 创建并执行网格搜索

使用GridSearchCV创建一个搜索对象，并执行网格搜索。

# 创建GridSearchCV对象
grid_search = GridSearchCV(estimator=rf, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)

# 执行网格搜索
grid_search.fit(X_train, y_train)

5. 查看最佳参数组合

查看网格搜索后找到的最佳参数组合，并评估最佳模型的性能。

# 查看最佳参数组合
print("Best parameters found: ", grid_search.best_params_)
print("Best cross-validation score: %.3f" % grid_search.best_score_)

# 获取最佳模型
best_rf = grid_search.best_estimator_

# 在测试集上进行预测
y_pred = best_rf.predict(X_test)

# 打印分类报告
print(classification_report(y_test, y_pred))

完整代码

将上述步骤整合成一个完整的代码块：

import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report

# 加载数据
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建随机森林分类器
rf = RandomForestClassifier(random_state=42)

# 定义超参数网格
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 创建GridSearchCV对象
grid_search = GridSearchCV(estimator=rf, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)

# 执行网格搜索
grid_search.fit(X_train, y_train)

# 查看最佳参数组合
print("Best parameters found: ", grid_search.best_params_)
print("Best cross-validation score: %.3f" % grid_search.best_score_)

# 获取最佳模型
best_rf = grid_search.best_estimator_

# 在测试集上进行预测
y_pred = best_rf.predict(X_test)

# 打印分类报告
print(classification_report(y_test, y_pred))

---