本文为《机器学习实战》学习笔记
1. 决策树简介
决策树可以从数据集合汇总提取一系列的规则,创建规则的过程就是机器学习的过程。在构造决策树的过程中,不断选取特征划分数据集,直到具有相同类型的数据均在数据子集内。
1.1 划分数据集
由于不同属性的数据类型不同,其对应的测试条件也不同。即非叶子节点的每条出边代表的含义不同。
二元属性产生两个可能的输出。
标称属性具有多个属性值。可以根据属性值的数量产生多路划分,每个出边代表一个属性值;对于只产生二元划分的算法(CART),可以创建k个属性值二元划分的所有 2(k−1)−1 种划分方法。
序数属性在保证序数属性值有序性的同时,可以产生二元或多路划分。
连续属性可以通过比较测试进行二元划分,必须考虑所有可能的划分点;也可以设定范围区间多路划分,必须考虑所有可能的连续区间。
划分数据集的最大原则是把无序数据变得有序。可以使用信息论量化度量信息的内容。
如果待分类的事务可能划分在多个分类中,则符号 xi 的信息定义为:
l(xi)=−log2p(xi)
其中 p(xi) 是选择该分类的概率。
集合信息的度量方式有多种,用于度量数据集的不纯性,值越大表示数据集越混乱,混合的数据越多。
其中 香农熵(熵)定义为信息的期望值。计算熵时,需要计算所有类别所有可能值包含的信息期望值:
H=−∑i=1Np(xi)log2p(xi)