学习《机器学习100天》第17天 决策树

github上的项目，跟着一起学习

项目地址    https://github.com/MLEveryday/100-Days-Of-ML-Code

原项目这一天的任务：在Coursera开始深度学习的专业课程

说明：由于机器学习相关的基础尚未完全掌握，决定接下来不完全按照原项目的计划来，根据原项目后面的，看了什么就记录什么。今天先看看后面的决策树。

一、决策树是什么？

监督学习算法

主要用于分类

二、决策树的例子

假设需要划分的数据是这样的：

决策树就是把这些数据切片：

对应的决策树是这样的：

构建决策树可以使用不同的算法，CART、IDS等

二、决策树算法：ID3

Iterative Dichotomizer 3:

基本思想：自上而下，贪婪搜索

如何衡量什么是好？信息增益、熵。

熵：度量混乱程度

信息增益：

生成决策树的步骤：

参考：

决策树 - 熵,信息增益的计算  https://www.cnblogs.com/okokok/p/6117333.html