决策树算法的总结归纳

什么是决策树

下面一大串是百科的描述（表示看不懂）：
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。
分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

自己归纳一下

• 从根节点开始一步步走到叶子节点（决策），每个节点就是一个条件，根据不同的条件把数据进行区分。所有的数据最终都会落到叶子节点，既可以做分类也可以做回归

举个栗子

构建一个决策树分类器，用来区分是否喜欢打游戏。首先认为年龄<15岁的人群喜欢打游戏，接下来再以是否是男生为条件来区分一次，这样就得到分类结果。

决策树模型构建

决策树的组成

• 根节点：第一个选择点
• 叶节点表示一个分类条件
• 非叶子节点与分支：中间过程
• 叶子节点：最终的决策结果

流程

• 训练阶段：给定一个数据集，选择某个条件作为根节点，随后再选择其他的调节作为叶节点去构建就可以了。
• 测试阶段：把测试数据丢进构件好的模型，等待输出结果。

一旦构建好了模型，分类或者预测任务就很简单了，只要把测试数据拿到模型里跑就行了。我们只要关注一个问题：如何构建一个决策树？围绕这个问题，再解决其他问题就行了。

切分特征

选择不同的条件作为根节点或者叶节点，对结果的影响肯定是很大的。特别是根节点的选择，显然比叶节点还要总要。
所以我们要通过一个指标来确定：到底用哪个条件作为优先选择的叶节点或者是根节点。这就引入了一个概念——信息熵。

信息熵

熵是表示随机变量不确定性的度量，熵值越高，表示混乱程度越高，越充满不确定性。

• 举个栗子：去杂牌店购物比去专卖店购物的熵值更高，因为杂牌店可能卖很多品牌的商品，你买到不同品牌的概率就很大，而去专卖店购物就只能买到一个品牌的商品。

$$熵计算公式：H(x)=-\sum P_i\ast Log{P}_i,i=1,2...n$$

看下图的log函数图像（忽略文字，草稿而已···），i必定是一个概率值，所以值域就是[0，1]，结合公式，概率越小，月不确定，在这个范围内的log图像就是log值越小，熵H(x)越大。

这就是为什么说，去专卖店购物买到一个品牌的商品概率为1（在log图像上就趋近0），它的熵就小的原因。

再举个栗子

A集合[1,1,1,1,1,1,1,1,2,2]
B集合[1,2,3,4,5,6,7,8,9,1]
显然A集合的熵值要低，因为A里面只有两种类别，相对稳定一些，而B中类别太多了，熵值就会大很多。

不确定性越大，得到的熵值也就越大