决策树和随机森林

决策树->随机森林；
随机森林的难点是如何建立决策树；
根节点ROOT：1，2，3。。。N个样本，给定规则（选取特征）给ROOT进行分类，假设分成C_1，C_2,如果是连续直接分类，如果是连续，那么给定阈值进行分类，递归形成的树，即是决策树，多个决策树即形成随机森林；
决策树：CART:classification and regression tree；
决策树：训练速度快，使用场景多；
熵是度量随机变量不确定性的量，越小随机性越小，越大表示随机性越大，也可表示其蕴含的信息量；
事件发生的概率越小，其蕴含的信息量越大，熵越大；
香浓定理：信息熵，$H=-\sum_{i=1}^{n}p_{i}*logp_{i}$
H(X),H(Y),H(X,Y)

条件熵：
H(Y|X)=H(X,Y)-H(X)=$-\sum_{x,y}p(x,y)*logp(y|x)=\sum_{x}p(x)H(Y|X=x)$

给定均值后：均匀分布熵最大；
给定均值和方差后：正态分布熵最大；

相对熵：互熵，交叉熵，鉴别信息，kullback熵，kullback-leible散度；
用来度量两个随机变量的距离；

p(x),q(x)是X中取值的两个概率分布，则p对q的相对熵是：
$D(p||q)=\sum_{x}p(x)log \frac{p(x)}{q(x)} =E_{p(x)}log\frac{p(x)}{q{(x)}}$

互信息：两个随机变量X,Y的互信息，定义为X,Y的连个分布和独立分布乘积的相对熵；
I(X,Y)=D(P(X,Y)||P(X)P(Y))=$\sum_{x,y}p(x,y)log\frac{p(x,y)}{p(x)*p(y)}$

H(Y)-I(X,Y)=H(Y|X)
I(X,Y)=H(X)+H(Y)-H(X,Y)

H(X|Y)<=H(X);