决策树理解

1.决策树概述

决策树既能做分类也能做回归。我们可以通过一个例子来了解决策树。
例子：判断家庭成员是否爱打篮球
根节点：年龄是否小于15
非叶子节点：是否为男性
叶子节点：最后的节点，下面没有分支了，分类出来的家庭成员。

2.熵原理解读

引入：多个属性，选择哪个作为根节点？
熵：表示系统内部的混乱程度。$$entropy=-\sum _{i=1}^n{p}_{i}lo{g}_2(p_i)$$一个集合里面存在的类别数较多。
Gini系数：越大表明分类类别越多，越不纯。gini系数为0时，表示是纯的，该属性下不同取值只有一个类别。