《机器学习》 周志华学习笔记第四章 决策树(课后习题)python 实现

一、基本内容

1.基本流程

决策树的生成过程是一个递归过程,有三种情形会导致递归返回

(1)当前节点包含的yangben全属于同一类别,无需划分;

(2)当前属性集为空,或是所有yangben在所有属性上的取值相同,无法划分;

(3)当前结点包含的yangben集合为空,不能划分

2.划分选择

2.1信息增益:对可取值数目较多的属性有所偏好

2.2增益率:对可取值数目较少的属性有所偏好 C4.5算法启发式

2.3基尼指数:CART决策树

3.剪枝处理:决策树学习算法中对付过拟合的主要手段

3.1预剪枝:降低过拟合风险,减少决策树的训练时间开销和测试时间开销,有欠拟合风险

3.2后剪枝:欠拟合风险很小,泛化性能往往由于预剪枝,但是训练时间开销很大

4.连续与缺失值

4.1连续值处理 C4.5决策树算法

4.2缺失值处理

C4.5 解决两个问题(1)如何在属性值缺失的情况下进行划分属性选择?

(2)给定划分属性,若yangben在该属性上的值缺失,如何对yangben进行划分?

5.多变量决策树

决策树自己学习的时候写了一些代码,有点还没有完成。以后有时间会补上

https://github.com/makang101/machinelearning/tree/master/chapter4decisionTree

二、课后习题

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值