机器学习之决策树

决策树是如何分类的：
决策树由节点和有向边组成，一般一棵决策树包含一个根节点、若干内部节点和若干叶节点。决策树的决策过程需要从决策树的根节点开始，待测数据与决策树中的特征节点进行比较，并按照比较结果选择下一比较分支，直到叶子节点作为最终的决策结果。

决策树分类算法有哪些,原理是什么?
ID3:

1. 从根节点开始，对节点计算所有可能的特征的信息增益，选择信息增益值最大的特征作为节点的划分特征。
2. 由该特征的不同取值建立子节点。
3. 再对子节点递归地调用以上方法，构建决策树。
4. 到所有特征的信息增益都很小或者没有特征可以选择为止，得到最终的决策树。

C4.5:

1. 用信息增益率来选择划分特征，克服了用信息增益选择的不足
2. 在构造树的过程中进行剪枝
3. 可对连续值与缺失值进行处理

C4.5 都在哪些方面改进了 ID3 ：

1. 采用信息增益比因为 ID3 在计算的时候，倾向于选择取值多的属性。为了避免这个问题，C4.5 采用信息增益率的方式来选择属性的。
2. 采用剪枝ID3构造决策树的时候，容易产生过拟合的情况
3. 可以处理连续属性的情况，对连续的属性进行离散化处理。
4. 可以处理数据有缺失值的情况