qq_21535279的博客

原创 机器学习笔记（五）：决策树理论与简单使用

1.决策树构造 难点：如何构造树 选择什么样的节点做根节点 2.熵 ：衡量标准，用于选择哪个节点做当前的节点 表示随机变量的不确定性（物体内部的混乱程度【所以熵越小越好】） ID3算法: 就是基与信息增益的算法 问题： 假设以ID（每条数据都是不同的 或者 那些分的很细但是没有意义的）作为分类依据，算出来的熵 = 0 则信息增益最大，但是拿ID来分类是没有意义的 C4.5：信息增益...