决策树C4.5算法 c语言实现,决策树之ID3、C4.5、C5.0

决策树之ID3，说一个例子，就会明白，拿

Tom M .mitchen 的《Machine Learing》第三章中的例子。

我们先解释一下这张表，表中有14条实例数据，就是我们的训练数据，其中Outlook,Temperature,Humidity

,Wind称作条件属性，PlayTennis 称作是决策属性(标签)。

每一个属性都有各自的值记做：Value(Outlook)={Sunny,OverCast,Rain}，Value(Temperature)={Hot,Mild,Cool}，Value(Humidity)={High,Normal}，Value(Wind)={Strong,Weak}，Value(PlayTennis)={NO,Yes}。

第一个重要的概念：Entropy。

我们数一下 决策属性PlayTennis，一共有两个类别：Yes，No。Yes的实例数是

9，No的实例数是 5。计算决策属性的Entropy(熵)：

,

计算结果为：0.940286

这里的决策属性S的值只有两个值(Yes,No)，当然可以有多个值(s1,s2,s3,...,sk)，这些决策属性的值的概率分别为：p1,p2,p3,...,pk所以决策属性的Entroy的计算公式：

第二个重要的概念：information

gain(信息增益)

我们只拿Outlook条件属性举例，其他的属性一样：

Value(Outlook)={Sunny,OverCast,Rain}：

Outlook是sunny的实例数为5(其中Yes的个数为2，No的个数为3)，占总的实例数为5/14，那么针对sunny的Entropy,

计算结果为：0.97095

Outlook是OverCast的实例数为4(其中Yes的个数为4，No的个数为0)，占总的实例数为4/14，那么针对Overcast的Entropy，