数据挖掘十大经典算法（一）C4.5

决策树：是一种数据分类方法，使人从直观上理解，准确率较高。决策树算法有很多种变种，包含ID3、C4.5、C5.0、CART等。

基本思想：

• 算法：GenerateDecisionTree(D,attributeList)根据训练数据记录D生成一棵决策树.
• 输入：
  • 数据记录D，包含类标的训练数据集;
  • 属性列表attributeList，候选属性集，用于在内部结点中作判断的属性.
  • 属性选择方法AttributeSelectionMethod()，选择最佳分类属性的方法.
• 输出：一棵决策树.

C4.5是数据挖掘中的经典算法：

信息增益定义为原来的信息需求（即仅基于类比例）与新需求（即对A划分之后得到的）之间的差。

Gain(D,A)=E(D)-E(D,A)。其中Gain为属性A划分样本D的信息增益，E（D）为划分样本D为c个类的熵，E(D,A)为属性A划分样本S的期望值。

如何选择属性构造决策树呢？

对于连续性的随机变量，应该如何选择呢？

如何终止树的增长呢？

如何确定叶子节点的类？

注：因素属性的值可以是连续量,C4.5对其排序并分成不同的集合后当作离散量进行处理,但结论属性的值必须是离散值.