决策树

信息论基础

熵
设随机变量取有限个值，其概率分布为$P(X=x_i)=p_i , i=1,2,...,n$则随机变量$X$的熵的定义为

$$H(X)=-\sum_{i=1}^np_i\log p_i$$ 对数以 $2$或 $e$为底时，熵的单位分别为比特(bit)或纳特(nat).由定义可知熵与X的取值无关，而与X的分布有关，所以熵记作 $H(p)$,即

$$H(p)=-\sum_{i=1}^np_i\log p_i$$
条件熵
随机变量 $(X,Y)$联合分布为 P(X=xi,Y=yi)=pij,i=1,2,...,n;j=1,