决策树

决策树：从根节点开始一步步走到叶子节点（决策），既可以做分类也可以做回归。

树有以下几部分组成：

根节点：第一个选择点

非叶子节点与分支：中间过程

叶子节点：最终的决策结果

决策树特征的切分

通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点。

衡量标准-熵

熵：熵是表示随机变量不确定性的度量（解释：说白了就是物体内部的混乱程度，比如杂货市场里面什么都有那肯定混乱呀，专卖店里面只卖一个牌子的那就稳定多啦）

熵的公式：H(X)=-Σ pi * logpi, i=1,2, ... , n
一个例子：A集合[1,1,1,1,1,1,1,1,2,2]   B集合[1,2,3,4,5,6,7,8,9,1]
显然A集合的熵值要低，因为A里面只有两种类别，相对稳定一些，而B中类别太多了，熵值就会大很多。

熵：不确定性越大，得到的熵值也就越大
当p=0或p=1时，H(p)=