决策树ID3的学习与实现

0. 绪论

昨天完成了决策树ID3算法的编码，心情真的很激动呀，虽然是针对具体数据而生的，但是还是很自豪的说。在这个过程中对ID3算法也加深了印象。

决策树学习主要是特征选择（实则是特征属性的排优）和基于ID3算法决策树的生成，对于决策树的剪枝本文并不讨论。

1. 示例数据

上图为示例数据集D，第一列到第六列的意义为：ID号，年龄，是否有工作，是否有房子，贷款信誉，分类类别。0表示否，1表示是。

2. 预备知识

信息熵：就决策的过程来说，熵是描述一个决策过程的混乱程度，如果选择过程是特定的则熵为0，如果决策过程是随