基本概念
什么是分类
- 构造一个模型或分类器来预测类标号
类别可以用离散值表示,且其中的次序没有意义。 - 预测一个连续函数或有序值
预测器进行数值预测,回归分析是最常用的方法。
分类的一般方法
- 学习阶段
使用训练元祖构建分类模型,由于提供了每个训练元祖的类标号,这一阶段称为监督学习 - 分类阶段
使用模型预测检验集(独立于训练元祖)的类标号,如果使用训练集来度量分类器的准确率,分类器结果会很乐观,以为趋向于过分拟合。
决策树归纳
决策树是一种类似于流程图的树结构。
内部结点(非树叶结点)表示在一个属性上的测试,每个分枝代表该测试的一个输出,而每个树叶结点存放一个类标号。
决策树容易转换成分类规则。
决策树适合于探测式知识发现,可以处理高维数据。
基本算法
ID3、C4.5(ID3的后继)和CART都采用贪心(即非回溯的)方法,其中决策树以自顶向下递归的分治方式构造。
属性选择度量
属性选择度量是一种选择分裂准则,把给定类标记的训练元祖的数据分区D“最好地”划分成单独类的启发式方法。