8-1决策树_h(y|x)=h(x,y)-h(x)-CSDN博客

本文链接：https://blog.csdn.net/haozhepeng/article/details/94720128

本文介绍了熵在衡量随机变量不确定性中的作用，包括联合熵、条件熵、对偶式和互信息。接着深入讨论了决策树的学习过程，如ID3、C4.5和CART算法，以及如何通过信息增益、信息增益率和基尼指数来选择最佳分叉依据。最后，文章提到了解决决策树过拟合问题的剪枝策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、熵 entropy

表示随机变量不确定性，熵越大，不确定性越大。

1.联合熵

两个随机变量X，Y的联合分布，可以形成
联合熵Joint Entropy，用H(X,Y)

2.条件熵：

H(Y|X) = H(X,Y) - H(X)

根据互信息定义展开得到

H(Y|X) = H(Y) - I(X,Y)

3. 对偶式
H(X|Y)= H(X,Y) - H(Y)
H(X|Y)= H(X) - I(X,Y)

4.交叉熵

相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等
设p(x)、q(x)是X中取值的两个概率分布，则p对q的
相对熵是

两点说明：
1）在一定程度上，相对熵可以度量两个随机变量的“距离”
2）一般的，D(p||q) ≠D(q||p)

5.互信息：

两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。

I(X,Y)=H(Y) – H(Y|X)

I(X,Y)= H(X) + H(Y) - H(X,Y)

证明：H(Y) –I(X,Y)=H(Y|X)

记忆图：

二、决策树

1.介绍：

决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别。
1）决策树学习是以实例为基础的归纳学习。
2）决策树学习采用的是自顶向下的递归方法，
其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。它属于有监督学习。可以从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。

建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法。
ID3（信息增益）
C4.5（信息增益率）
CART（gini指数）

2.建树分叉依据

1） ID3

ID3是以信息增益为选择分类特征的依据，由于当特征取值越丰富，信息增益越大，所以ID3会偏向于选择属性值多的特征。

1）信息增益

（当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时，所对应的熵和条件熵分别
称为经验熵和经验条件熵。）
信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度。
定义：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D
的经验条件熵H(D|A)之差，即：
 g(D,A)=H(D) – H(D|A)
 显然，这即为训练数据集D和特征A的互信息。

设训练数据集为D，|D|表示其容量，即样本个数。设有K个类Ck，k=1,2,…,K，|Ck|为属于类Ck的样本个数。Σk|Ck|=|D|。设特征A有n个不同的取值{a1,a2…an}，根据特征A的取值将D划分为n个子集D1,D2,…Dn,|Di|为Di的样本个数，Σi|Di|=D。记子集Di中属于类Ck的样本的集合为Dik，|Dik|为Dik的样本个数。

计算数据集D的经验熵

计算特征A对数据集D的经验条件熵H(D|A)