随机森林 Random Forest

已于 2023-10-03 11:38:51 修改
阅读量2w 收藏 168
点赞数 36
分类专栏： 机器学习算法 文章标签： 机器学习 算法 随机森林
于 2023-05-27 14:59:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JasonH2021/article/details/130901444
版权

目录

前言

一、随机森林是什么？

二、随机森林的优点和缺点

三、随机森林的应用场景

四、构建随机森林模型的注意事项

五、随机森林模型的实现类库

六、随机森林模型的评价指标

七、类库scikit-learn实现随机森林的例子

八、随机森林的模型参数

总结

前言

随机森林是机器学习中有监督学习的解决分类和回归任务的一种算法。

一、随机森林是什么？

随机森林是集成学习中的Bagging(Bootstrap Aggregation)方法的一种实现，是由很多决策树作为基础估计器集成的一个同质估计器。
各决策树之间没有关联，在用随机森林进行分类时，每个样本会被森林中的每一颗决策树进行判断和分类，每个决策树会得到一个分类结果，哪一个分类的结果最多（众数），就是随机森林的最终结果。

二、随机森林的优点和缺点

1. 优点：

  • 较高的准确率：随机森林算法可以通过集成多个决策树模型来提高模型的准确率，通常可以达到较高的准确率。
  • 可处理大规模数据集：随机森林算法可以处理大规模数据集，因为它可以进行并行计算，同时也可以通过特征选择来减少特征数量。
  • 可处理高维数据：随机森林算法可以处理高维数据，因为它可以通过随机选择特征来降低数据维度。
  • 对噪声和异常值不敏感：随机森林算法对噪声和异常值不敏感，因为它可以通过集成多个决策树模型来减少噪声和异常值的影响。
  • 可以进行特征选择：随机森林算法可以根据特征的重要性进行特征选择，从而提高模型的泛化能力。

2. 缺点：

  • 计算复杂度高：随机森林算法需要训练多个决策树模型，并且需要对每个模型进行预测，因此计算复杂度较高。
  • 需要大量内存：随机森林算法需要存储多个决策树模型，因此需要大量内存。
  • 难以解释：随机森林算法生成的模型比较复杂，不太容易解释。

需要注意的是，在实际应用中，随机森林算法的性能还受到许多其他因素的影响，例如树的数量、特征选择等，需要根据具体情况进行调整和优化。

三、随机森林的应用场景

  • 分类问题：随机森林可以用于分类问题，如图像分类、文本分类、情感分析等。
  • 回归问题：随机森林也可以用于回归问题，如房价预测、股票价格预测等。
  • 特征选择：随机森林可以用于特征选择，即从众多特征中选择最重要的特征。
  • 异常检测：随机森林可以用于异常检测，如网络入侵检测、信用卡欺诈检测等。
  • 集成学习：随机森林是一种集成学习算法，可以用于提高分类或回归的准确率。
  • 缺失值处理：随机森林可以处理缺失值，不需要对缺失值进行填充

四、构建随机森林模型的注意事项

  • 随机森林中树的数量是一个超参数，增加树的数量会提升模型的性能，但同时也会消耗昂贵的算力，因此要根据实际的情况进行调整。
  • 随机森林通过多棵树的结果进行预测，且有正则化等技巧，因此区别于决策树在每个节点上实现最佳分割，而是通过每个节点上的一个特征随机样本来选择最佳组织方式。

五、随机森林模型的实现类库

Python中有多个库可以实现随机森林，以下是其中比较常用的几个库：

  • scikit-learn：scikit-learn是Python中常用的机器学习库，其中也包含了随机森林。
  • TensorFlow：TensorFlow是Google开发的深度学习框架，其中也包含了线性随机森林。
  • PyTorch：PyTorch是另一个常用的深度学习框架，其中也包含了随机森林。
  • Keras：Keras是一个高级神经网络API，可以在多个深度学习框架上运行，其中也包含了随机森林。

以上这些库都提供了丰富的接口和功能，可以满足不同场景下的需求。需要注意的是，在使用这些库时，需要根据具体情况选择合适的模型、参数和评估指标，以获得更好的预测效果。

六、随机森林模型的评价指标

随机森林可以进行回归和分类的建模。

1. 回归模型的评价指标有：

  • 均方误差（Mean Squared Error，MSE）是预测值与真实值之间差值的平方的平均值，用来衡量模型的预测精度，MSE 越小，说明模型的预测结果越准确。
  • 均方根误差（Root Mean Squared Error，RMSE）是均方误差的平方根，用来衡量模型的预测精度，RMSE 越小，说明模型的预测结果越准确。
  • 平均绝对误差（Mean Absolute Error，MAE）是预测值与真实值之间差值的绝对值的平均值，用来衡量模型的预测精度，MAE 越小，说明模型的预测结果越准确。
  • 决定系数（Coefficient of Determination，R-squared）用来衡量模型对数据的拟合程度，取值范围为 0~1，R-squared 越接近 1，说明模型对数据的拟合程度越好。

2. 分类模型的评价指标有：

  • 准确率（Accuracy）是指分类正确的样本数占总样本数的比例，用来衡量模型的分类准确度。
  • 精确率（Precision）是指分类为正类的样本中，实际为正类的样本数占分类为正类的样本数的比例，用来衡量模型对正类的分类准确度。
  • 召回率（Recall）是指实际为正类的样本中，被分类为正类的样本数占实际为正类的样本数的比例，用来衡量模型对正类的识别能力。
  • F1 分数（F1-score）是精确率和召回率的调和平均数，用来综合衡量模型的分类准确度和识别能力。
  • ROC 曲线和 AUC 值是用来评估二元分类器性能的常用指标。ROC 曲线是以假正率（False Positive Rate，FPR）为横轴，真正率（True Positive Rate，TPR）为纵轴，绘制出来的曲线。AUC 值是 ROC 曲线下面积的大小，取值范围为 0~1，AUC 值越大，说明分类器的性能越好。

七、类库scikit-learn实现随机森林的例子

1. 随机森林回归建模的示例

# 导入必要的库和数据集：

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 导入数据集
X, y = load_data()  # 加载自己的数据集

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建随机森林回归模型并进行训练：

# 创建随机森林回归模型
rf_regressor = RandomForestRegressor(n_estimators=100, random_state=42)

# 训练模型
rf_regressor.fit(X_train, y_train)

# 进行预测并评估模型：

# 进行预测
y_pred = rf_regressor.predict(X_test)

# 计算均方误差（Mean Squared Error）
mse = mean_squared_error(y_test, y_pred)

2. 随机森林分类建模示例

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练随机森林模型
clf = RandomForestClassifier(n_estimators=100, random_state=42)
clf.fit(X_train, y_train)

# 预测测试集
y_pred = clf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

八、随机森林的模型参数

1. 随机森林回归模型（RandomForestRegressor）的常用参数：

  • n_estimators：森林中树的数量，默认为100。增加树的数量可以提高模型的性能，但也会增加计算成本。
  • criterion：衡量分割质量的评价准则，默认为'mse'（均方误差）。其他可选的评价准则包括'mae'（平均绝对误差）和'mse'（均方误差）。
  • max_depth：树的最大深度，默认为None。如果不指定深度，树会一直生长直到所有叶节点都是纯净的或者包含的样本数小于min_samples_split。
  • min_samples_split：分割内部节点所需的最小样本数，默认为2。如果某个内部节点的样本数小于该值，则不会再进行分割。
  • min_samples_leaf：叶节点所需的最小样本数，默认为1。如果某个叶节点的样本数小于该值，则该叶节点会被剪枝。
  • max_features：寻找最佳分割时考虑的特征数，默认为'auto'（即sqrt(n_features)）。可以是整数（考虑固定数量的特征）或浮点数（考虑固定比例的特征）。
  • random_state：随机种子，用于控制随机性。

2. 随机森林分类模型（RandomForestClassifier）的常用参数：

  • n_estimators：指定森林中决策树的数量，默认值为100。增加n_estimators可以提高模型的性能，但会增加训练时间。
  • criterion：用于衡量特征选择质量的度量标准。常见的取值有"gini"和"entropy"。默认值为"gini"，表示使用基尼系数作为度量标准。
  • max_depth：决策树的最大深度。默认值为None，表示不限制决策树的深度。增加max_depth可以增加模型的复杂度，但也容易导致过拟合。
  • min_samples_split：拆分内部节点所需的最小样本数。默认值为2。如果某个内部节点的样本数小于min_samples_split，则不会再继续拆分。
  • min_samples_leaf：叶节点上所需的最小样本数。默认值为1。如果某个叶节点的样本数小于min_samples_leaf，则该叶节点会被剪枝。
  • max_features：寻找最佳分割时考虑的特征数量。可以是整数、浮点数或字符串。默认值为"auto"，表示考虑所有特征。还可以取"sqrt"、"log2"等值。

总结

本文主要简单介绍了随机森林的基本概念，优缺点，应用场景，模型的评价，建模时的注意事项，python的实现方法，示例和模型的参数等。

JasonH2021
关注
  • 36
    点赞
  • 踩
  • 168
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[Machine Learning & Algorithm] 随机森林（Random Forest）
weixin_34279246的博客
06-19 1万+
1 什么是随机森林？ 　　作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。最初，我是在参加校外竞赛时接触到随机森林算法的。最近几年的国内外大赛，包括2013年百度校园电影推荐系统大赛、2014年阿里巴巴天池大数据...
随机森林（Random Forest）
Duckie的博客
11-14 600
1 什么是随机森林？ 　　作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。最初，我是在参加校外竞赛时接触到随机森林算法的。最近几年的国内外大赛，包括2013年百度校园电影推荐系统大赛、2014年阿里巴巴天池大
随机森林算法及其实现（RandomForest）
01-27
作为新兴起的、高度灵活的一种机器学习算法，随机森林（RandomForest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。最初，我是在参加校外竞赛时接触到随机森林算法的。最近几年的国内外大赛，包括2013年百度校园电影推荐系统大赛、2014年阿里巴巴天池大数据竞赛以及Kaggle数据科学竞赛，参赛者对随机森林的使用占有相当高的比例。此外，据我的个人了解来看，一大部分成功进入答辩的队伍也都选择了Random Forest或者
什么是随机森林模型？
keyboard专栏
07-22 441
随机森林（Random Forest）是一种集成学习方法，主要用于分类和回归任务。它是由多个决策树组成的模型，通过集成这些决策树的预测结果来提高模型的准确性和稳定性。
Random Forest
绿箭侠
07-01 197
Random Forest——随机森林 上一篇是讲到了决策树，这篇就来讲一下树的集合，随机森林。 ①Aggregation Model 随机森林还是没有脱离聚合模型这块，之前学过两个aggregation model，bagging和decision tree，一个是边learning边uniform。首先是boostrap方式得到数据D1，之后训练做平均...
Random forests， 随机森林，online random forests
weixin_30408739的博客
05-10 213
Random Forests (随机森林） 随机森林的思想很简单，百度百科上介绍的随机森林算法比较好理解。 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 "Random Forests" 是他们的商标。 这个术语是1995年由贝尔实验室的Tin ...
随机森林
Wind_know的博客
06-19 402
目录 导包 导入数据 随机森林训练 相同数据用决策树算法训练 导包 import numpy as np import matplotlib.pyplot as plt %matplotlib inline from sklearn.ensemble import RandomForestClassifier,ExtraTreesClassifier from sklearn import datasets import pandas as pd from sklearn.model
【机器学习算法】分类算法之随机森林（Random Forest）
DJJ5210的博客
11-18 4226
前言随机森林（Random Forest） 是Bagging（一种并行式的集成学习方法）的一个拓展体，它的基学习器固定为决策树，多棵树也就组成了森林，而“随机”则在于选择划分属性的随机，随机森林在训练基学习器时，也采用有放回采样的方式添加样本扰动，同时它还引入了一种属性扰动，即在基决策树的训练过程中，在选择划分属性时，Random Forest先从候选属性集中随机挑选出一个包含K个属性的子集，再从这个子集中选择最优划分属性，一般推荐K=log2（d）。
java实现随机森林RandomForest的示例代码
08-29
public class RandomForest { List<Sample> mSamples; List<Cart> mCarts; double mFeatureRate; int mMaxDepth; int mMinLeaf; Random mRandom; public void loadData(String path, String regex) throws ...
randomforest
03-08
C++实现randomforest，训练阶段，通过决策树的节点分裂来筛选特征，层层对样本进行细分，直至将每个训练样本子集分类正确，测试阶段，直接基于训练出的特征进行样本分类，所以测试速度较快（但训练速度较慢）。
Random Forest随机森林
09-30
Random Forest 即随机森林的原理介绍
Random forests(Leo Breiman)
11-22
Random forests are a combination of tree predictors such that each tree depends on the values of a random vector sampled independently and with the same distribution for all trees in the forest. The generalization error for forests converges a.s. to a limit as the number of trees in the forest becomes large. The generalization error of a forest of tree classifiers depends on the strength of the individual trees in the forest and the correlation between them. Using a random selection of features to split each node yields error rates that compare favorably to Adaboost (Freund and Schapire[1996]), but are more robust with respect to noise. Internal estimates monitor error, strength, and correlation and these are used to show the response to increasing the number of features used in the splitting. Internal estimates are also used to measure variable importance. These ideas are also applicable to regression.
基于python实现随机森林Random Forest
06-13
基于python实现随机森林Random Forest
随机森林 RandomForest
平凡简单的执着
03-09 1986
1、集成学习 集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成 算法的身影也随处可见。 更多关于...
随机森林(Random Forest)
最新发布
2301_80693609的博客
08-07 1905
详细介绍了决策树，k折交叉验证法及其调参，集成学习，随机森林算法及其原理。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值