机器学习-决策树算法

机器学习中分类和预测算法的评估：

1.准确率

2.速度

3.强壮性

4.可规模性

5.可解释性

 

1.什么是决策树/判定树

判定树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。

2.机器学习中分类方法中的一个重要算法

3.构造决策树的基本算法

3.1熵的概念

一条信息的信息量大小和它的不确定性有直接的关系

变量的不确定性越大，熵也就越大

3.2决策树归纳算法（ID3）

选择属性判断结点

信息获取量：Gain(A)=Info(D)-Infor_A(D)

通过A来作为结点味蕾获取了多少信息

算法的步骤

1.树以代表训练样本的单个结点开始

2.如果样本都在同一个类（拥有相同的y），则该结点变成树叶，并用该类标号

3.如果不是在同一类，则需要继续进行划分，通过信息获取量，找到信息获取量中值最大的作为头结点，继续创建分枝

4.结束的条件

 1）给定结点的所有样本属于同一类

 2）没有剩余属性来进行下一步划分，这时使用多数表决，将结点转换成树叶，并用样本中的多数类标记它，作为最后的结果

 3）分枝

5.创建树叶

4.树剪枝叶（避免overfitting） 避免划分的太细导致，在训练集中算法准确，但是在测试集中，有新的变量就导致不准的情况

 4.1先剪枝

 4.2后剪枝

5.决策树的优点

 直观，便于理解，小规模数据集有效

6.决策树的缺点

 处理连续变量不好

 类别较多时，错误增加的比较快

 可规模性一般