决策树算法的总结归纳

什么是决策树

下面一大串是百科的描述(表示看不懂):
决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度,使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。
分类树(决策树)是一种十分常用的分类方法。他是一种监管学习,所谓监管学习就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

自己归纳一下

  • 从根节点开始一步步走到叶子节点(决策),每个节点就是一个条件,根据不同的条件把数据进行区分。所有的数据最终都会落到叶子节点,既可以做分类也可以做回归

举个栗子

构建一个决策树分类器,用来区分是否喜欢打游戏。首先认为年龄<15岁的人群喜欢打游戏,接下来再以是否是男生为条件来区分一次,这样就得到分类结果。
是否喜欢打游戏的决策树

决策树模型构建

决策树的组成

  • 根节点:第一个选择点
  • 叶节点表示一个分类条件
  • 非叶子节点与分支:中间过程
  • 叶子节点:最终的决策结果

决策树的结构

流程

  • 训练阶段:给定一个数据集,选择某个条件作为根节点,随后再选择其他的调节作为叶节点去构建就可以了。
  • 测试阶段:把测试数据丢进构件好的模型,等待输出结果。

一旦构建好了模型,分类或者预测任务就很简单了,只要把测试数据拿到模型里跑就行了。我们只要关注一个问题:如何构建一个决策树?围绕这个问题,再解决其他问题就行了。

切分特征

选择不同的条件作为根节点或者叶节点,对结果的影响肯定是很大的。特别是根节点的选择,显然比叶节点还要总要。
所以我们要通过一个指标来确定:到底用哪个条件作为优先选择的叶节点或者是根节点。这就引入了一个概念——信息熵。

信息熵

熵是表示随机变量不确定性的度量,熵值越高,表示混乱程度越高,越充满不确定性。

  • 举个栗子:去杂牌店购物比去专卖店购物的熵值更高,因为杂牌店可能卖很多品牌的商品,你买到不同品牌的概率就很大,而去专卖店购物就只能买到一个品牌的商品。

熵 计 算 公 式 : H ( x ) = − ∑ P i ∗ L o g P i , i = 1 , 2... n 熵计算公式:H(x) = -\sum P_i*LogP_i,i=1,2...n H(x)=PiLogPi,i=1,2...n

看下图的log函数图像(忽略文字,草稿而已···),i必定是一个概率值,所以值域就是[0,1],结合公式,概率越小,月不确定,在这个范围内的log图像就是log值越小,熵H(x)越大。

这就是为什么说,去专卖店购物买到一个品牌的商品概率为1(在log图像上就趋近0),它的熵就小的原因。
一个log图像

再举个栗子

A集合[1,1,1,1,1,1,1,1,2,2]
B集合[1,2,3,4,5,6,7,8,9,1]
显然A集合的熵值要低,因为A里面只有两种类别,相对稳定一些,而B中类别太多了,熵值就会大很多。

在这里插入图片描述
不确定性越大,得到的熵值也就越大

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值