决策树相关的一些概念

 

信息量

原则：

某事件发生的概率小，则该事件的信息量大。

如果两个事件X和Y独立，即p(xy)=p(x)p(y) ，假定X和Y的信息量分别为h(X)和h(Y)，则二者同时发生的信息量应该为h(XY)=h(X)+h(Y)。

定义随机变量X的概率分布为p(x)，从而定义X信息量：

 

 

 

熵(信息熵)

对随机事件的信息量求期望，得熵的定义：

 

注：底数是2时，单位是bit；若底数是e，单位是nat(奈特)

熵是随机变量不确定性的度量，不确定性越大，熵值越大；

若随机变量退化成定值，熵最小：为0

若随机分布为均匀分布，熵最大。

 

联合熵

两个随机变量X，Y的联合分布，可以形成联合熵Joint Entropy，用H(X,Y)表示

条件熵H(X,Y) – H(X)

(X,Y)发生所包含的熵，减去X单独发生包含的熵：在X发生的前提下，Y发生“新”带来的熵，该式子定义为X发生前提下，Y的熵：条件熵H(Y|X)

 

相对熵，KL散度

相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等

设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是

 

 

E表示期望

说明：

相对熵是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。

有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念，因为：(1)KL散度不是对称的；(2)KL散度不满足三角不等式。

 

互信息

两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。

互信息：I(X,Y)=H(X)+H(Y)-H(X,Y)，以下是推导

 

条件熵

条件熵 H(Y|X)H(Y|X) 表示在已知随机变量 XX 的条件下随机变量 YY 的不确定性。条件熵 H(Y|X)H(Y|X) 定义为 XX 给定条件下 YY的条件概率分布的熵对 XX 的数学期望：

 

条件熵 H(Y|X)相当于联合熵H(X,Y) 减去单独的熵H(X)，即

H(Y|X)=H(X,Y)−H(X)

 

以下也可以推出H(Y|X)=H(Y)-I(X,Y)

 

Venn图：帮助记忆

 

 

信息增益

概念：当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时，所对应的熵和条件熵分别称为经验熵和经验条件熵。

信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度。

定义：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即：

g(D,A) = H(D) – H(D|A)

显然，这即为训练数据集D和特征A的互信息。

 

信息增益率

信息增益率：gr(D,A) = g(D,A) / H(A)

 

Gini系数

 

 

 

 

本文搜集了决策树相关的一些概念公式等，为学习决策树时查阅，希望对你有所帮助

 

关注-微-公众号【学习与成长资源库】获取更多免费学习资料

 

参考

Python大战机器学习

邹博 机器学习视频课

李航 统计学习方法

周志华 机器学习