本文介绍了决策树的基本结构和构造过程，重点讲解了熵的概念及其在决策树构建中的作用，包括熵的计算公式和信息增益的计算方法。通过实例展示了如何选择最佳分割属性，并提到了使用信息增益率避免无关属性的影响。同时，文章还提及了决策树的评价函数和优化策略，如预剪枝和后剪枝。
决策树
一颗决策树重要组成部分，分为根节点、非叶子节点，叶子节点，分支。
根节点：第一个节点
非叶子节点（决策点）：代表测试的节点，对数据属性的测试
分支：代表测试的条件
叶子节点：代表分类后所获得的分类标记，最后的结果
决策树的构造过程：
构造决策树的过程分为训练阶段和测试阶段；训练阶段需要从给定的训练集数据中构造一颗决策树；测试阶段是将测试数据在构造出的决策树上进行测试。
那重点问题就来了，如果要构造一颗决策树，那决策树中的根节点如何进行确定呢？
衡量标准–熵
熵代表一个物体内部的混乱程度，对应到我们的数据中就是数据的混乱程度，如果数据越纯，混乱程度就越小，熵值越小；如果数据越杂乱，混乱程度就越大，熵值越大。熵值的大小就代表不确定性越大。
熵的公式
pi为i的概率
数据集A={1,1,1,1,1,1,2,2,2,3}，出现1的概率是6/10，2的概率是3/10,3的概率是1/10，根据熵的计算公式：
A数据
最低0.47元/天 解锁文章
2016
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
