4.决策树

决策树

一、决策树概述

     训练阶段，根据训练数据构造决策树模型；在测试阶段，对数据进行分类。

     决策树重要的三个阶段：1.特征的选择 2.决策树的生成 3.决策树剪枝

     决策树内部节点表示特征或者属性，叶节点表示类别。

     特征的选择：根据信息增益（ID3）和信息增益比（C4.5）

二、基本的概念

     （1）经验熵的计算（由数据极大似然估计得到，所以在熵基础上称为经验熵）。熵值越大表示不确定性就越大。熵的公式：

     其中n表示类别数，Pi表示第i类别的数量与总数量的比。

     （2）经验条件熵：

     其中H(Y|X)为经验条件熵，表示在X条件下对数据集Y进行分类的不确定性

     （3）信息增益：表示不确定变化的程度