模糊决策树

1，ID3算法：1986年由Quinlan提出的一种产生清晰决策树的启发式

                     选择扩展属性的方法：最小分类信息熵利用最大的信息增益选择分裂属性

                     局限性：1. ID3没有考虑连续特征

                                    2. 利用最大的信息增益选择分裂属性，在相同的条件下，偏向取值较多的特征属性 

                                    3. ID3对于缺失值的情况没有考虑

                                    4. 没有考虑过拟合的问题

2，基于ID3的模糊决策树：1）扩展属性的选择：基于概率模型的分类信息熵（香农熵），用来描述概率分布的不确定性。

                                           2）扩展属性的选择：模糊熵，描述可能性分布的不确定性。