周志华《机器学习》课后习题解答系列（五）：Ch4.3 - 编程实现ID3算法

这里采用Python-sklearn的方式，环境搭建可参考 数据挖掘入门：Python开发环境搭建（eclipse-pydev模式）.

相关答案和源代码托管在我的Github上：PY131/Machine-Learning_ZhouZhihua.

4.3 编程实现ID3算法

这里基于python编程实现的方式，详细解答和编码过程如下：（查看完整代码）：

1.获取数据、查看数据、预分析

这里由数据表生成.csv文件（注意中文字符的编码格式）。采用pandas.read_csv()读取数据，然后采用seaborn可视化部分数据来进行初步判断。

观察数据可知，变量包含’色泽’等8个属性，其中6个标称属性，2个连续属性。类标签为西瓜是否好瓜（两类）：

下面是一些数据可视化图像：

下图是含糖率和密度两个连续变量的可视化图，这个图在之前的练习中也有出现：

下图则是更多的变量两两组合可视化图：

基于可视化手段进行一些分析，可以大概了解数据的分布及其与类别的关系。

2.自己编程实现ID3算法

在进行编程之前，先做一些分析如下：

• 对于树形结构，可以创建节点类来进行操作，根据书p74决策树基本算法，广泛采用递归操作；
• 对于连续属性（密度、含糖率），参考书p83，对其进行离散化（可采用二分法）；
• 对于标称属性（色泽、纹理等），考虑Python字典，方便操作其特征类别（如：’色泽’ -> ‘青绿’，’乌黑’，’浅白’）；
• 由于数据集完整，这里暂不考虑缺值问题（若需考虑，可参考书p86-87的加权思路 -> C4.5算法）；

下面是实现过程：

2.1 建立决策树节点类

该节点类包含当前节点的属性，向下划分的属性取值，节点的类标签（叶节点有效，为通用性而保留所有节点类标签）；

样例代码如下：