决策树算法-ID3、C4.5和CART

• 算法对比

线性模型与决策树模型的对比：

线性模型是将所有的特征转变为概率，并对所有的特征加权求和，从而对模型进行分类，只能找到线性分割，而决策树模型是一个一个特征的进行处理，对每一个特征进行划分，可以找到非线性分割；

 

• 决策树算法ID3

ID3算法是一种贪心算法，用来构建决策树，ID3起源于概念学习系统，以信息熵的下降速度为选取测试属性的标准；即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准，然后继续这个过程，直到生成的决策树能完美分类训练样例。

要了解信息增益，需要先了解信息熵的概念。

熵（entropy）：热力学中表征物质状态的参量之一，其物理意义是体系混乱程度的度量；

信息熵（information entropy）：是度量样本集合纯度最常用的一种指标；

假定当前样本集合D中第K类样本所占的比例为Pk（k=1,2,3，…，|n|），则D的信息熵为：

Ent(D)的值越小，则样本集合D的纯度越高。

信息增益

假定离散属性a有n种可能取值（1~n），则a的信息熵为Ent(D)，以属性a对样本集合D进行划分，则会产生n个节点：