最全【Spark MLlib】(五)随机森林(Random Forest(1),腾讯大数据开发开发面试经验

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

一、背景

使用 Spark 机器学习库来做机器学习工作,可以说是非常的简单,通常只需要在对原始数据进行处理后,然后直接调用相应的 API 就可以实现。但是要想选择合适的算法,高效准确地对数据进行分析,可能还需要深入了解下算法原理,以及相应 Spark MLlib API 实现的参数的意义。

目前,Spark MLlib 中实现了 tree 相关的算法,决策树 DT(DecisionTree),随机森林 RF(Random Forest),GBDT(Gradient Boosting Decision Tree),其基础都是RF,DT 是 RF 一棵树时的情况,而 GBDT 则是循环构建DT,GBDT与DT的代码是非常简单明了的,本文会对 Random Forest 的源码进行分析,介绍 Spark 在实现过程中使用的一些技巧。

二、决策树与随机森林

首先我们来对决策树和随机森林进行简单的了解:

决策树 GBDT-Decision Tree(DT)

  • 关键问题
    • 节点分裂:使用的特征及阈值
      • 特征选取:最小均方差、信息增益(ID3)、信息增益率(C4.5)
      • 阈值:从特征值中选取、等步长选取最大最小值之间的值
    • 叶子节点的值:叶子所属数据的均值(回归)、对应类别(分类)
    • 截止条件:达到叶子节点数上限、继续划分无法使误差减小

在这里插入图片描述
在决策树的训练中,如上图所示,就是从根节点开始,不断的分裂,直到触发截止条件,在节点的分裂过程中要解决的问题其实就两个:

  • 分裂点:一般就是遍历所有特征的所有特征值,选取impurity最大的分成左右孩子节点,impurity的选取有信息熵(分类),最小均方差(回归)等方法
  • 预测值:一般取当前最多的class(分类)或者取均值(回归)

随机森林

随机森林就是构建多棵决策树投票,在构建多棵树过程中,引入随机性,一般体现在两个方面,一是每棵树使用的样本进行随机抽样,分为有放回和无放回抽样。二是对每棵树使用的特征集进行抽样,使用部分特征训练。

在训练过程中,如果单机内存能放下所有样本,可以用多线程同时训练多棵树,树之间的训练互不影响。

三、随机森林算法原理

随机森林是由多个决策树构成的森林,算法分类结果由决策树的投票结果得到,其属于集成学习中的bagging方法。算法的主要原理如下:

在这里插入图片描述

  1. 假设为一棵决策树,其中每个决策树的抽样方式为重抽样,独立抽样次,每次随机抽取个样本,就可组成个训练集数据集,且它们是相互独立同分布的。
  2. 单棵决策树的生长原则遵循:每次从数据集的全部特征属性中随机选取个来训练,并比较评估效果。选择内节点的分裂属性中评估效果最好的属性进行分裂,并且遵循节点不纯度的原则。决策树由根节点遍历向下分裂。那么由一系列的决策树组合得到随机森林,其中是独立同分布的随机变量。
  3. 对于分裂后的2个或以上的子节点,继续进行分裂直到数据集S能够正确评估,或者属性全部用完。每棵决策树都不进行剪枝,使其充分生长。
  4. 所生成的棵决策树构成了随机森林。随机性表现在两个方面:每棵树训练集的抽取过程与节点分裂时的特征属性的选择过程。这样各棵树之间的相关性很低。对于新样本输入时,根据训练好的模型,每一棵树都会对其评估一个值,根据投票机制给出样本的类别标签或者根据均值法给出回归结果。

四、Spark ML 优化随机森林

在 Spark 平台上,传统单机形式的迭代方式必须要进行相应改进才能适用于分布式环境,这是因为在分布式环境下,数据也是分布式的,算法设计不得当会生成大量的 IO 操作,影响算法效率三个优化策略。

1.切分点抽样统计
在单机环境下的决策树对连续变量进行切分点选择时,一般是通过对特征点进行排序,然后取相邻两个数之间的点作为切分点,如果在分布式环境下如此操作的话,会带来大量的网络传输操作,特别是当数据量达到 PB 级时,算法效率将极为低下 Spark 中的随机森林在构建决策树时,会对各分区采用一定的子特征策略进行抽样, 然后生成各个分区的统计数据,并最终得到切分点。

2.切分特征装箱(Binning)
决策树的构建过程就是对特征的取值不断进行划分的过程对于离散的特征,如果有M个值,最多个划分如果值是有序的,那么就最多 M-1个划分(按老,中,少的序,那么只有 m-1 个,即 2 种划分,老|中,少;老,中|少)
划分的点就是 split(切分点),划分出的区间就是 bin。对于连续特征 ,理论上 split 是无数的,在分布环境下不可能取出所有的值,因此它采用的是1中的切点抽样统计方法。

3.逐层训练(level-wise training)
单机版本的决策数生成过程是通过递归调用(本质上是深度优先)的方式构造树,在构造树的同时,需要移动数据,将同一个子节点的数据移动到一起
分布式环境下采用的策略是逐层构建树节点(本质上是广度优先),这样遍历所有数据的次数 等于所有树中的最大层数。每次遍历时,只需要计算每个节点所有切分点统计参数,遍历完后,根据节点的特征划分,决定是否切分,以及如何切分。

五、使用Spark ML分别进行回归与分类建模

数据集

No,year,month,day,hour,pm,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir
1,2010,1,1,0,NaN,-21.0,-11.0,1021.0,NW,1.79,0.0,0.0
2,2010,1,1,1,NaN,-21,-12,1020,NW,4.92,0,0
3,2010,1,1,2,NaN,-21,-11,1019,NW,6.71,0,0
4,2010,1,1,3,NaN,-21,-14,1019,NW,9.84,0,0
5,2010,1,1,4,NaN,-20,-12,1018,NW,12.97,0,0
6,2010,1,1,5,NaN,-19,-10,1017,NW,16.1,0,0
7,2010,1,1,6,NaN,-19,-9,1017,NW,19.23,0,0
8,2010,1,1,7,NaN,-19,-9,1017,NW,21.02,0,0
9,2010,1,1,8,NaN,-19,-9,1017,NW,24.15,0,0
10,2010,1,1,9,NaN,-20,-8,1017,NW,27.28,0,0
11,2010,1,1,10,NaN,-19,-7,1017,NW,31.3,0,0
12,2010,1,1,11,NaN,-18,-5,1017,NW,34.43,0,0
13,2010,1,1,12,NaN,-19,-5,1015,NW,37.56,0,0
14,2010,1,1,13,NaN,-18,-3,1015,NW,40.69,0,0
15,2010,1,1,14,NaN,-18,-2,1014,NW,43.82,0,0
16,2010,1,1,15,NaN,-18,-1,1014,cv,0.89,0,0
……

1、读取pm.csv,将含有缺失值的行扔掉(或用均值填充)将数据集分为两部分,0.8比例作为训练集,0.2比例作为测试集。

case class data(No: Int, year: Int, month: Int, day: Int, hour: Int, pm: Double, DEWP: Double, TEMP: Double, PRES: Double, cbwd: String, Iws: Double, Is: Double, Ir: Double)

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[\*]").setAppName("foreast")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    Logger.getLogger("org").setLevel(Level.ERROR)

    val root = MyRandomForeast.getClass.getResource("/")
    import sqlContext.implicits._

    val df = sc.textFile(root + "pm.csv").map(_.split(",")).filter(_ (0) != "No").filter(!_.contains("NaN")).map(x => data(x(0).toInt, x(1).toInt, x(2).toInt, x(3).toInt, x(4).toInt, x(5).toDouble, x(6).toDouble, x(7).toDouble, x(8).toDouble, x(9), x(10).toDouble, x(11).toDouble, x(12).toDouble)).toDF.drop("No").drop("year")

2、使用 month、day、hour、DEWP、TEMP、PRES、cbwd、Iws、Is、Ir 作为特征列(除去No,year,pm),pm作为label列,使用训练集、随机森林算法进行回归建模,使用回归模型对测试集进行预测,并评估。

val splitdf = df.randomSplit(Array(0.8, 0.2))
    val (train, test) = (splitdf(0), splitdf(1))
    val traindf = train.withColumnRenamed("pm", "label")

    val indexer = new StringIndexer().setInputCol("cbwd").setOutputCol("cbwd\_")
    val assembler = new VectorAssembler().setInputCols(Array("month", "day", "hour", "DEWP", "TEMP", "PRES", "cbwd\_", "Iws", "Is", "Ir")).setOutputCol("features")

    import org.apache.spark.ml.Pipeline

    val rf = new RandomForestRegressor().setLabelCol("label").setFeaturesCol("features")
    // setMaxDepth最大20,会大幅增加计算时间,增大能有效减小根均方误差
    // setMaxBins我觉得和数据量相关,单独增大适得其反,要和setNumTrees一起增大


![img](https://img-blog.csdnimg.cn/img_convert/efd961fd3c941d21d086674fcb298f33.png)
![img](https://img-blog.csdnimg.cn/img_convert/71ec733e4252bec61cc565e9e69b42e1.png)

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

  • 13
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据开发工程师面试中,Spark 是一个非常重要的技术点。以下是一些常见的关于 Spark面试问题: 1. 什么是 SparkSpark 是一个快速、通用的大数据处理引擎,它提供了高级的抽象接口,可以以分布式方式处理大规模数据集。 2. Spark 和 Hadoop 的区别是什么?Spark 和 Hadoop 都是用于大数据处理的工具,但它们在架构和功能上有一些区别。Spark 提供了更快速、交互式的数据处理能力,而 Hadoop 主要用于批处理任务。此外,Spark 还提供了更多的高级特性,如流处理、机器学习和图计算。 3. Spark 的核心组件有哪些?Spark 的核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX。Spark Core 提供了 Spark 的基本功能,而其他组件则提供了更高级的数据处理能力。 4. Spark 支持哪些编程语言?Spark 主要使用 Scala 和 Java 进行编写,但也支持 Python 和 R。 5. Spark 的 RDD 是什么?RDD(Resilient Distributed Dataset)是 Spark 中的核心抽象概念,它是一个可分区、可并行计算的数据集合。RDD 具有容错性和可自动恢复性,并且可以在内存中进行缓存以提高性能。 6. Spark 的缓存机制是什么?Spark 提供了一个分布式的内存缓存机制,可以将数据集存储在内存中以提高读取速度。这对于迭代算法和交互式查询非常有用。 7. Spark 的调优方法有哪些?Spark 的调优方法包括合理设置资源分配、调整并行度、使用持久化缓存、对数据进行分区和合理使用数据结构等。 8. Spark Streaming 是什么?Spark Streaming 是 Spark 提供的一个用于实时流处理的组件,它可以将实时数据流分成小批次进行处理,并提供了类似于批处理的 API。 这些是一些常见的 Spark 相关的面试问题,希望能对你有帮助。当然,根据不同的公司和职位要求,可能还会有其他特定的问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值