【Spark MLlib】（五）随机森林（Random Forest）分析

最新推荐文章于 2024-09-11 07:26:39 发布
最新推荐文章于 2024-09-11 07:26:39 发布
阅读量5.9k 收藏 21
点赞数 11
分类专栏： # ---- Spark MLlib 文章标签： 决策树 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beiisbei/article/details/105206387
版权

一、背景

使用 Spark 机器学习库来做机器学习工作，可以说是非常的简单，通常只需要在对原始数据进行处理后，然后直接调用相应的 API 就可以实现。但是要想选择合适的算法，高效准确地对数据进行分析，可能还需要深入了解下算法原理，以及相应 Spark MLlib API 实现的参数的意义。

目前，Spark MLlib 中实现了 tree 相关的算法，决策树 DT（DecisionTree），随机森林 RF（Random Forest），GBDT（Gradient Boosting Decision Tree），其基础都是RF，DT 是 RF 一棵树时的情况，而 GBDT 则是循环构建DT，GBDT与DT的代码是非常简单明了的，本文会对 Random Forest 的源码进行分析，介绍 Spark 在实现过程中使用的一些技巧。

二、决策树与随机森林

首先我们来对决策树和随机森林进行简单的了解：

决策树 GBDT-Decision Tree(DT)

  • 关键问题
    • 节点分裂：使用的特征及阈值
      • 特征选取：最小均方差、信息增益（ID3）、信息增益率（C4.5）
      • 阈值：从特征值中选取、等步长选取最大最小值之间的值
    • 叶子节点的值：叶子所属数据的均值（回归）、对应类别（分类）
    • 截止条件：达到叶子节点数上限、继续划分无法使误差减小

在这里插入图片描述
在决策树的训练中，如上图所示，就是从根节点开始，不断的分裂，直到触发截止条件，在节点的分裂过程中要解决的问题其实就两个：

  • 分裂点：一般就是遍历所有特征的所有特征值，选取impurity最大的分成左右孩子节点，impurity的选取有信息熵（分类），最小均方差（回归）等方法
  • 预测值：一般取当前最多的class（分类）或者取均值（回归）

随机森林

随机森林就是构建多棵决策树投票，在构建多棵树过程中，引入随机性，一般体现在两个方面，一是每棵树使用的样本进行随机抽样，分为有放回和无放回抽样。二是对每棵树使用的特征集进行抽样，使用部分特征训练。

在训练过程中，如果单机内存能放下所有样本，可以用多线程同时训练多棵树，树之间的训练互不影响。

三、随机森林算法原理

随机森林是由多个决策树构成的森林，算法分类结果由决策树的投票结果得到，其属于集成学习中的bagging方法。算法的主要原理如下：

在这里插入图片描述

  1. 假设为一棵决策树，其中每个决策树的抽样方式为重抽样，独立抽样次，每次随机抽取个样本，就可组成个训练集数据集，且它们是相互独立同分布的。
  2. 单棵决策树的生长原则遵循：每次从数据集的全部特征属性中随机选取个来训练，并比较评估效果。选择内节点的分裂属性中评估效果最好的属性进行分裂，并且遵循节点不纯度的原则。决策树由根节点遍历向下分裂。那么由一系列的决策树组合得到随机森林，其中是独立同分布的随机变量。
  3. 对于分裂后的2个或以上的子节点，继续进行分裂直到数据集S能够正确评估，或者属性全部用完。每棵决策树都不进行剪枝，使其充分生长。
  4. 所生成的棵决策树构成了随机森林。随机性表现在两个方面：每棵树训练集的抽取过程与节点分裂时的特征属性的选择过程。这样各棵树之间的相关性很低。对于新样本输入时，根据训练好的模型，每一棵树都会对其评估一个值，根据投票机制给出样本的类别标签或者根据均值法给出回归结果。

四、Spark ML 优化随机森林

在 Spark 平台上，传统单机形式的迭代方式必须要进行相应改进才能适用于分布式环境，这是因为在分布式环境下，数据也是分布式的，算法设计不得当会生成大量的 IO 操作，影响算法效率三个优化策略。

1.切分点抽样统计
在单机环境下的决策树对连续变量进行切分点选择时，一般是通过对特征点进行排序，然后取相邻两个数之间的点作为切分点，如果在分布式环境下如此操作的话，会带来大量的网络传输操作，特别是当数据量达到 PB 级时，算法效率将极为低下 Spark 中的随机森林在构建决策树时，会对各分区采用一定的子特征策略进行抽样， 然后生成各个分区的统计数据，并最终得到切分点。

2.切分特征装箱（Binning）
决策树的构建过程就是对特征的取值不断进行划分的过程对于离散的特征，如果有M个值，最多个划分如果值是有序的，那么就最多 M-1个划分（按老，中，少的序，那么只有 m-1 个，即 2 种划分，老|中，少；老，中|少）
划分的点就是 split（切分点），划分出的区间就是 bin。对于连续特征 ，理论上 split 是无数的，在分布环境下不可能取出所有的值，因此它采用的是1中的切点抽样统计方法。

3.逐层训练（level-wise training）
单机版本的决策数生成过程是通过递归调用（本质上是深度优先）的方式构造树，在构造树的同时，需要移动数据，将同一个子节点的数据移动到一起
分布式环境下采用的策略是逐层构建树节点（本质上是广度优先），这样遍历所有数据的次数 等于所有树中的最大层数。每次遍历时，只需要计算每个节点所有切分点统计参数，遍历完后，根据节点的特征划分，决定是否切分，以及如何切分。

五、使用Spark ML分别进行回归与分类建模

数据集

No,year,month,day,hour,pm,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir
1,2010,1,1,0,NaN,-21.0,-11.0,1021.0,NW,1.79,0.0,0.0
2,2010,1,1,1,NaN,-21,-12,1020,NW,4.92,0,0
3,2010,1,1,2,NaN,-21,-11,1019,NW,6.71,0,0
4,2010,1,1,3,NaN,-21,-14,1019,NW,9.84,0,0
5,2010,1,1,4,NaN,-20,-12,1018,NW,12.97,0,0
6,2010,1,1,5,NaN,-19,-10,1017,NW,16.1,0,0
7,2010,1,1,6,NaN,-19,-9,1017,NW,19.23,0,0
8,2010,1,1,7,NaN,-19,-9,1017,NW,21.02,0,0
9,2010,1,1,8,NaN,-19,-9,1017,NW,24.15,0,0
10,2010,1,1,9,NaN,-20,-8,1017,NW,27.28,0,0
11,2010,1,1,10,NaN,-19,-7,1017,NW,31.3,0,0
12,2010,1,1,11,NaN,-18,-5,1017,NW,34.43,0,0
13,2010,1,1,12,NaN,-19,-5,1015,NW,37.56,0,0
14,2010,1,1,13,NaN,-18,-3,1015,NW,40.69,0,0
15,2010,1,1,14,NaN,-18,-2,1014,NW,43.82,0,0
16,2010,1,1,15,NaN,-18,-1,1014,cv,0.89,0,0
……

1、读取pm.csv,将含有缺失值的行扔掉（或用均值填充）将数据集分为两部分，0.8比例作为训练集，0.2比例作为测试集。

case class data(No: Int, year: Int, month: Int, day: Int, hour: Int, pm: Double, DEWP: Double, TEMP: Double, PRES: Double, cbwd: String, Iws: Double, Is: Double, Ir: Double)

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("foreast")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    Logger.getLogger("org").setLevel(Level.ERROR)

    val root = MyRandomForeast.getClass.getResource("/")
    import sqlContext.implicits._

    val df = sc.textFile(root + "pm.csv").map(_.split(",")).filter(_ (0) != "No").filter(!_.contains("NaN")).map(x => data(x(0).toInt, x(1).toInt, x(2).toInt, x(3).toInt, x(4).toInt, x(5).toDouble, x(6).toDouble, x(7).toDouble, x(8).toDouble, x(9), x(10).toDouble, x(11).toDouble, x(12).toDouble)).toDF.drop("No").drop("year")

2、使用 month、day、hour、DEWP、TEMP、PRES、cbwd、Iws、Is、Ir 作为特征列（除去No，year，pm），pm作为label列，使用训练集、随机森林算法进行回归建模，使用回归模型对测试集进行预测，并评估。

val splitdf = df.randomSplit(Array(0.8, 0.2))
    val (train, test) = (splitdf(0), splitdf(1))
    val traindf = train.withColumnRenamed("pm", "label")

    val indexer = new StringIndexer().setInputCol("cbwd").setOutputCol("cbwd_")
    val assembler = new VectorAssembler().setInputCols(Array("month", "day", "hour", "DEWP", "TEMP", "PRES", "cbwd_", "Iws", "Is", "Ir")).setOutputCol("features")

    import org.apache.spark.ml.Pipeline

    val rf = new RandomForestRegressor().setLabelCol("label").setFeaturesCol("features")
    // setMaxDepth最大20，会大幅增加计算时间，增大能有效减小根均方误差
    // setMaxBins我觉得和数据量相关，单独增大适得其反，要和setNumTrees一起增大
    // 目前这个参数得到的评估结果（根均方误差）46.0002637676162
    //    val numClasses=2
    //    val categoricalFeaturesInfo = Map[Int, Int]()// Empty categoricalFeaturesInfo indicates all features are continuous.

    val pipeline = new Pipeline().setStages(Array(indexer, assembler, rf))
    val model = pipeline.fit(traindf)

    val testdf = test.withColumnRenamed("pm", "label")
    val labelsAndPredictions = model.transform(testdf)

    labelsAndPredictions.select("prediction", "label", "features").show(false)

    val eva = new RegressionEvaluator().setLabelCol("label").setPredictionCol("prediction")
    val accuracy = eva.evaluate(labelsAndPredictions)
    println(accuracy)

    val treemodel = model.stages(2).asInstanceOf[RandomForestRegressionModel]
    println("Learned regression forest model:\n" + treemodel.toDebugString)

在这里插入图片描述
3、按照下面标准处理pm列，数字结果放进（levelNum）列，字符串结果放进（levelStr）列
优（0） 50
良（1）50~100
轻度污染（2） 100~150
中度污染（3） 150~200
重度污染（4） 200~300
严重污染（5） 大于300及以上

   // 使用Bucketizer特征转换，按区间划分
val splits = Array(Double.NegativeInfinity, 50, 100, 150, 200, 300, Double.PositiveInfinity)

    val bucketizer = new Bucketizer().setInputCol("pm").setOutputCol("levelNum").setSplits(splits)

    val bucketizerdf = bucketizer.transform(df)

    val tempdf = sqlContext.createDataFrame(
      Seq((0.0, "优"), (1.0, "良"), (2.0, "轻度污染"), (3.0, "中度污染"), (4.0, "重度污染"), (5.0, "严重污染"))
    ).toDF("levelNum", "levelStr")
    val df2 = bucketizerdf.join(tempdf, "levelNum").drop("pm")

    df2 show

在这里插入图片描述
4、使用month、day、hour、DEWP、TEMP、PRES、cbwd、Iws、Is、Ir作为特征列（除去No，year，pm）,levelNum作为label列，使用训练集、随机森林算法进行分类建模。使用分类模型对测试集进行预测对预测结果df进行处理，基于prediction列生成predictionStr（0-5转换优-严重污染）,对结果进行评估。

val splitdf2 = df2.randomSplit(Array(0.8, 0.2))
    val (train2, test2) = (splitdf2(0), splitdf2(1))
    val traindf2 = train2.withColumnRenamed("levelNum", "label")

    val indexer2 = new StringIndexer().setInputCol("cbwd").setOutputCol("cbwd_")

    val assembler2 = new VectorAssembler().setInputCols(Array("month", "day", "hour", "DEWP", "TEMP", "PRES", "cbwd_", "Iws", "Is", "Ir")).setOutputCol("features")

    val rf2 = new RandomForestClassifier().setLabelCol("label").setFeaturesCol("features")

    val pipeline2 = new Pipeline().setStages(Array(indexer2, assembler2, rf2))
    val model2 = pipeline2.fit(traindf2)

    val testdf2 = test2.withColumnRenamed("levelNum", "label")
    val labelsAndPredictions2 = model2.transform(testdf2)

    labelsAndPredictions2.select("label", "prediction", "features").show

    val eva2 = new MulticlassClassificationEvaluator().setLabelCol("label").setPredictionCol("prediction").setMetricName("precision")
    val accuracy2 = eva2.evaluate(labelsAndPredictions2)
    println("Test Error = " + (1.0 - accuracy2))

    val treeModel2 = model2.stages(2).asInstanceOf[RandomForestClassificationModel]
    println("learned classifier tree node:\n" + treeModel2.toDebugString)

在这里插入图片描述

云 祁
关注
专栏目录
在线随机森林算法(online-random-forests)
10-11
在线随机森林算法包（online-random-forests），在linux系统下安装调试。 可用于机器学习研究。
spark mllib源码分析之随机森林(Random Forest)（五）
snaillup的博客
05-31 2024
spark随机森林源码分析最后一篇，主要介绍模型的保存、加载，总结spark实现的坑
随机森林 (Random Forest)
最新发布
m0_60388871的博客
09-11 1247
随机森林（Random Forest）是一种集成机器学习算法，它用于分类和回归。它通过结合多个决策树（Decision Trees）的预测结果来提高模型的准确性和稳健性。以下是随机森林的基本概念和工作原理，采用通俗易懂的方式来讲解。
spark mllib源码分析之随机森林(Random Forest)
hellozhxy的博客
02-14 1082
Spark在mllib中实现了tree相关的算法，决策树DT（DecisionTree），随机森林RF（RandomForest），GBDT（Gradient Boosting Decision Tree），其基础都是RF，DT是RF一棵树时的情况，而GBDT则是循环构建DT，GBDT与DT的代码是非常简单明了的，本文将分成五部分分别对RF的源码进行分析，介绍spark在实现过程中使用的一些技巧。...
在线分析|在线做随机森林分析
weifanbio的博客
01-06 2734
今天小编给大家介绍的是TUTU（https://www.cloudtutu.com/）网站上新添的randomforest2分析，即随机森林模型分析。目前平台上有两个随机森林的分析，如下图，小伙伴们可根据自己的需求选择对应的工具。 ​ 随机森林（Random forest） 随机森林（Random forest）是利用多棵决策树对样本进行训练并预测的一种分类器。独木不成林，随机森林可以弥补单个决策树泛化能力弱的问题。在机器学习中，随机森林作为一个包含多个决策树的分类器， 其输出的类别是由个别树输出的类别的众
机器学习实战sklearn_随机森林参数选择
bailixuance的博客
11-30 2822
有了之前的经验，能够对数据使用随机森林进行分析，接下来就来选择随机森林的最优参数 步骤： 1、数据预处理、特征选择 2、调节参数 3、训练 4、参数微调     1、数据载入与处理 import pandas as pd features = pd.read_csv('data/temps_extended.csv') # One Hot features = pd.ge...
Hadoop 权威指南中气象术语的解释
long1657的专栏
07-13 4292
STN---WBAN 气象站号 YEARMODA 年月日 TEMP 气温 DEWP 露点（dew point） SLP 海平面气压（Sea level pressure） STP 本站气压(station pressure) VISIB 能见度 （Visibility） WDSP 风向风速（wind direction ; speed） MXSPD   最大风速 (max. spe
spark随机森林例子（java版）
03-31
Spark的MLlib库提供了RandomForestClassifier类，用于训练和评估随机森林分类器。在这个例子中，开发者将加载数据（可能来自`sample_libsvm_data.txt`），将其转化为`LabeledPoint`对象，然后使用`...
基于Spark实现随机森林代码
08-25
在基于Spark实现随机森林代码中，我们使用了Spark MLlib库来实现随机森林算法。Spark MLlib库提供了一个高效的机器学习库，支持多种机器学习算法，包括决策树、随机森林、支持向量机等。 在代码中，我们首先创建了...
randomForest:这是 Spark 上随机森林算法的分布式实现。这与 mllib 中可用的相同算法的实现不同。在 mllib 中，随机森林算法是通过明智地拆分数据实例来实现的。 这种实现是通过明智地拆分数据特征。这种实现对于具有许多特征的数据非常有用。 我也做了一些即兴创作，删除了一些在这种实现方法中可以避免的类 一个重要的改进是
06-22
这是 Spark 上随机森林算法的分布式实现。 这与 mllib 中可用的相同算法的实现不同。 在 mllib 中，随机森林算法是通过明智地拆分数据实例来实现的。 此实现是通过明智地拆分数据特征。 这种实现对于具有许多特征的...
毕业设计：基于sparkMLlib的森林植被类型预测分类系统.zip
12-25
在这个项目中，我们可能采用了随机森林（Random Forest）或者梯度提升决策树（Gradient Boosting Decision Tree）等集成学习方法，这些算法在处理分类问题时表现出色，尤其在处理高维数据和存在大量特征的情况下。...
R语言随机森林分析全流程
wlh2067的博客
06-26 4633
即increase in node purity，通过残差平方和来度量，代表了每个变量对分类树每个节点上观测值的异质性的影响，从而比较变量的重要性。因此，根据计算得到的各ozone重要性的值（如“IncNodePurity”），将重要性由高往低排序后，最后大约选择前4个变量就可以了。解释了约70.44%的总方差，可以理解为该回归的R2=70.44，相当可观的一个数值，表明臭氧与这些变量密切相关。根据交叉验证曲线，提示保留1个重要的变量（或前四个重要的变量）获得理想的回归结果，因为此时的误差达到最小。
随机森林原理和性能分析
taozibaby的博客
06-04 986
随机森林原理和性能分析
R 利用回归分析与时间序列预测北京市PM2.5
热门推荐
weixin_45529837的博客
09-25 1万+
摘要 现代社会科技进步，人们的生活质量逐步提高，但伴随着各类工业和科技的发展，环境问题凸显，最初人们粗放式的经济发展方式在一定程度上对环境造成不可逆转的破坏。在各种环境污染问题，空气污染问题又是如今人们关注的重中之重。北京是我国首都，同时也是我国空气污染较为严重的几个北方城市之一，因此关注北京市空气污染情况是我国观测空气污染情况的重要关注对象之一。在本文中，首先，我就北京市PM2.5及其他污染物和气象情况的近几年观测数据做出相应回归分析，建立回归模型试图利用已知的其他污染物和气象情况信息对PM2.5做出预
随机森林分析金融数据
itszy的博客
03-18 902
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录随机森林模型一、随机森林模型1.数据加载二、数据清洗2.1.删除变量2.2变量数据类型转换2.3划分训练集和测试集三、随机森林分析3.1建模分析3.2模型优化总结 随机森林模型 首先：安装需要的几个R语言包：ggplot2，VIM，ggrepel 数据说明： 名称 类型 描述 account string 现有支票帐户的状态（A11：<0 DM，A12：0 <= x <200 DM，A13：&g.
空气污染预测
supreme567的博客
05-17 1700
人工智能导论作业
机器学习-分类随机森林分析(randomForest模型构建、参数调优、特征变量筛选、模型评估和基础理论等)
qq_39859424的博客
05-15 5876
此文主要涉及随机森林分类分析，主要包含以下几部分内容： 1）随机森林基础知识 2）randomForest()认识及构建分类判别模型； 3）随机森林参数调优 4）随机森林模型评估 classification rate、Sensitivity和specificity和ROC curve/AUC value 5）特征变量重要性筛选及绘图 重要性指数排序、交叉验证及Boruta算法筛选 一、 准备数据 此处使用的包含......
随机森林算法详解
甜盐的博客
06-19 3945
随机森林（Random Forest）是一种集成学习方法，通过构建多个决策树并将它们的预测结果结合起来，来提高模型的准确性和稳定性。随机森林在分类和回归任务中都表现出色，广泛应用于各类机器学习问题。本文将详细介绍随机森林的原理、特点、优缺点、常见应用场景以及示例代码。
SparkMlib 之随机森林及其案例
JIE的博客 --- moon_coder
11-30 1704
随机森林算法是机器学习、计算机视觉等领域内应用极为广泛的一个算法，它不仅可以用来做分类，也可用来做回归即预测，随机森林机由多个决策树构成，相比于单个决策树算法，它分类、预测效果更好，不容易出现过度拟合的情况。预测用户贷款是否能够按时还款；预测用户是否会购买某件商品等等分类和回归。
Java的spark mllib如何在加载随机森林模型时设置参数
05-30
在 Java 版本的 Spark MLlib 中，加载随机森林模型与加载决策树模型类似，也可以通过 `MLReader` 类的 `load` 方法加载模型，并设置加载模型时的参数。具体的代码示例如下： ```java import org.apache.spark.ml.PipelineModel; import org.apache.spark.ml.util.MLReader; // 模型保存路径 String modelPath = "path/to/your/model"; // 加载模型，并设置参数 PipelineModel model = new MLReader<PipelineModel>() { @Override public PipelineModel load(String path) { Metadata metadata = readMetadata(path); PipelineModel model = new PipelineModel(metadata.uid(), stages().map(Reader$.MODULE$::load).toArray(Reader[]::new)); DefaultParamsReader$.MODULE$.getAndSetParams(model, metadata); return model; } }.load(modelPath, params); ``` 其中，`params` 参数是一个 `Map<String, String>` 类型的参数，用于设置加载模型时的参数。对于随机森林模型，需要设置的参数包括： - `numTrees`：随机森林模型中树的数量。 - `featureSubsetStrategy`：随机森林模型中特征选择的策略。可以设置为 "auto"、"all"、"sqrt"、"log2" 或具体的数字。 例如，如果要设置加载模型时的随机森林模型树的数量为 100，特征选择策略为 "auto"，可以通过以下方式设置参数： ```java Map<String, String> params = new HashMap<>(); params.put("randomForest.numTrees", "100"); params.put("randomForest.featureSubsetStrategy", "auto"); ``` 需要注意的是，参数的命名需要与模型训练时使用的参数保持一致。
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值