决策树、随机森林的思路和spark实现

一、决策树
1、概念
这里写图片描述
2、构造决策树的思路流程
算法名:Generate_decisione_tree
D:表示所有数据的集合
attribute_list,代表所有数据中属性的集合
Attribute_selection_method: 表示通过某个方法,得到进行分类的最适合的属性
这里写图片描述
3、如何实现Attribute_selection_method
(1)使用信息增益的ID3算法 (2)使用信息增益率的C4.5算法
ID3算法:
这里写图片描述
Info(D)表示分类整个D所需要的平均信息,求 Info(D)主要是注意求pi的值。
若将D按照属性A划分成D1,D2,D3…..DN,按照这样划分之后,此时Info(D)可以表达为如下公式:
红色划线部分的计算应代入会公式8.1
这里写图片描述
至此,有了分类前和分类后的公式,将两者进行减法,就可以得到信息增益Gain(A)
这里写图片描述
进行简单的练习:
这里写图片描述
这里写图片描述
根据 选择 的 age作为分裂点,形成决策树 如下:
这里写图片描述**

C4.5算法

信息增益的缺点:
这里写图片描述

信息增益率:
这里写图片描述

二、随机森林

随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。
在建立每一棵决策树的过程中,有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程,random forest对输入的数据要进行行、列的采样。对于行采样,采用有放回的方式,也就是在采样得到的样本集合中,可能有重复的样本。假设输入样本为N个,那么采样的样本也为N个。这样使得在训练的时候,每一棵树的输入样本都不是全部的样本,使得相对不容易出现over-fitting。然后进行列采样,从M个feature中,选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树,这样决策树的某一个叶子节点要么是无法继续分裂的,要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝,但是这里不这样干,由于之前的两个随机采样的过程保证了随机性,所以就算不剪枝,也不会出现over-fitting。

具体spark实现:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值