C4.5_数据挖掘算法

C4.5算法介绍

1.信息量与熵：

• ps:信息量为描述清楚一个事物信息量的大小，熵则体现了混乱程度或无序程度，两者概念上有区别，计算公式相近(以下为熵的计算公式，其中pi表示消息出现的概率)。
  

• ps：ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3算法使用的是熵（entropy， 熵是一种不纯度度量准则），也就是熵的变化值，即信息增益度，而C4.5用的是信息增益率，所以C4.5是ID3算法的改进。

• ps：以下涉及到：
  1.特征X中的各个元素信息量Info(X_num)的计算；
  2.特征X针对于各个元素的信息量 Info(X)=p1Info(X_1)+p2Info(X_2)+p3*Info(X_3)…的计算；
  3.特征X针对于类别的信息量Info(T)的计算；
  4.特征X相对于类别的信息增益度Gain(X,T)=Info(T)-Info(X)的计算；
  5.特征针对于元素本身的信息量SplitInfo(X,T)的计算；
  6.以及信息增益率GainRatio(X,T)的计算。

2.C4.5算法
C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。

C4.5算法简例

（PS：以上共14个样本数据。上述表描述了：天气-温度-湿度-风这四个特征和打与不打球这一类别之间的数据关系，那么如果已知四个特征，该如何用以上数据决策打与不打球）

C4.5算法的计算概括

以下为我手工归纳的计算主要步骤概括：

详细过程与计算结果

以下是详细计算过程：