Spark ML随机森林

随机森林

做分类
做回归，即预测

多个决策树构成，通过多个决策树投票结果分数进行分类，不容易出现过度拟合
在生成的过程当中分别在行方向和 列方向上添加随机过程，行方向上构建决策树时采用放回抽样（bootstraping）得到训练数据，列方向上采用无放 回随机抽样得到特征子集，并据此得到其最优切分点

Spark ML优化随机森林

在 Spark 平台上，传统 单机形式的迭代方式必须要进行相应改进才能适用于分布式环境，这是因为在分布式环境下，数据也 是分布式的，算法设计不得当会生成大量的IO 操作，影响算法效率
三个优化策略
1.切分点抽样统计
在单机环境下的决策树对连续变量进行切分点选择时，一般是通过对特征点进 行排序，然后取相邻两个数之间的点作为切分点，
如果在分布式环境下 如此操作的话，会带来大量的网络传输操作，特别是当数据量达到 PB 级时，算法效率将极为低下
Spark 中的随机森林在构建决策树时，会对各分区采用一定的子特征策略进行抽样， 然后生成各个分区的统计数据，并最终得到切分点
2.切分特征装箱（Binning）
决策树的构建过程就是对特征的取值不断进行划分的过程
对于离散 的特征，如果有 M 个值，最多 个划分
如果值是有序的，那么就最多 M-1 个划分（按老，中，少的序，那么只有 m-1 个，即 2 种划分，老|中，少；老，中|少）
划分的点就是 split（切分点），划分出的区间就是 bin。对于连续特征 ，理论上 split 是无数的，在分布环境下不可能取出所有的值，因此它采用的是1中的切点抽样统计方 法
3.逐层训练（level-wise training）
单机版本的决策数生成过程是通过递归调用（本 质上是深度优先）的方式构造树，在构造树的同时，需要移动数据，将同一个子节点的数据移动到一 起
分布式环境下采用的策略是逐层构建树节点（本质上是广度优先），这样遍历所有数据的次数 等于所有树中的最大层数。每次遍历时，只需要计算每个节点所有切分点统计参数，遍历完后，根据 节点的特征划分，决定是否切分，以及如何切分

使用Spark ML分别进行回归与分类建模

0 原数据集的模样

No,year,month,day,hour,pm,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir
1,2010,1,1,0,NaN,-21.0,-11.0,1021.0,NW,1.79,0.0,0.0
2,2010,1,1,1,NaN,-21,-12,1020,NW,4.92,0,0
3,2010,1,1,2,NaN,-21,-11,1019,NW,6.71,0,0
4,2010,1,1,3,NaN,-21,-14,1019,NW,9.84,0,0
5,2010,1,1,4,NaN,-20,-12,1018,NW,12.97,0,0
6,2010,1,1,5,NaN,-19,-10,1017,NW,16.1,0,0
7,2010,1,1,6,NaN,-19