机器学习（七）：决策树

决策树（Decision Tree）可以算是分类算法中最著名的模型了，因为它是基于人们最能理解的规则来构造分类器，且每一次分支都能给出解释。
决策树大家族十分庞大，这里只介绍基于决策树的单一分类模型，不包括基于深度学习的GBDT。
决策树有点类似二叉排序树，到达节点时，就比较一次，然后进入下一个节点。

度量划分

基本上来说，对于度量的选择，我们都希望，所选择的度量能够将样本划分的更纯。不纯的程度越低，类分类就越倾斜。

信息熵、基尼指数与分类误差

三个度量方式都很容易理解，只不过对于误差的处理不同。
假设c是类的个数，则各指数的计算公式如下：

Entropy=−∑i=0c−1p(i|t)log2p(i|t)Gini=1−∑i=0