[machine learning] 决策树ID3算法

决策树是经常使用的数据挖掘的算法，原理是通过训练集创造一个树，然后对待分类的数据进行分类。决策树只适用于标称型数据，即离散化的数据。优点是数据的形式很容易理解，可以处理不相关的特征数据，缺点是无法给出数据的内在含义，并且ID3算法会产生过度匹配的问题。

一。决策树的一般流程

收集数据———准备数据（必须是标称型数据，数值型的数据需要离散化）——分析数据——训练算法（构造树）——

测试算法（使用经验树计算错误率）——使用算法

二。计算信息增益

划分数据集的大原则就是将无序的数据变得更加有序。熵用来度量数据的无序程度，数据越无序，则数据的熵越大。原始数据的熵和划分后的数据的熵之间的差值为信息增益。所以越好的数据划分方法使得划分后的数据的熵越小，信息增益越大。因此需要先编写python代码计算数据的香农熵。