熵理解及决策树算法

１、熵及条件熵

1.1熵

• 熵（entropy）代表随机变量的不确定性，熵越大随机变量的不确定性就越大，就越混乱，自然状态下向着熵值增加的方向发展。

熵值大->不确定性大（p值越小）->混乱程度大.

$依据Boltzman{n}^{\prime }sH-theorem，香农把随机变量X的熵值H（希腊字母Eta）定义如下，其值域为x1,...,xn：$

$$\mathrm{H}(p)=\mathrm{E}[\mathrm{I}(X)]=\mathrm{E}[-\ln (\mathrm{P}(X))]$$

$其中，P为X的概率质量函数（probabilitymassfunction），E为期望函数，而I(X)是X的信息量（又称为自信息）。I(X)本身是个随机变数。$

当取自有限的样本时，熵的公式可以表示为：

$$\mathrm{H}(p)=\sum _x\mathrm{p}(x)\mathrm{I}(x)=-\sum _i\mathrm{p}(x){\log }_b\mathrm{p}(x)$$
在这里b是对数所使用的底，通常是2,自然常数e，或是10。当b = 2，熵的单位是bit；当b = e，熵的单位是nat；而当b = 10,熵的单位是Hart。

1、熵能看作随机变量的信息量的期望，与随机变量的取值无关，只与概率有关
2、X代表整个随机变量，x代表某个具体的值

![抛硬币的熵H(X)（即期望自信息，以比特度量，与之相对的是硬币的公正度Pr(X=1).注意图的最大值取决于分布；在这里，要传达一个公正的抛硬币结果至多需要1比特，但要传达一个公正的抛骰子结果至多需要log2(6)比特。]
(https://upload.wikimedia.org/wikipedia/commons/thumb/2/22/Binary_entropy_plot.svg/200px-Binary_entropy_plot.svg.png)
抛硬币的熵H(X)（即期望自信息，以比特度量，与之相对的是硬币的公正度Pr(X=1).注意图的最大值取决于分布；在这里，要传达一个公正的抛硬币结果至多需要1比特，但要传达一个公正的抛骰子结果至多需要log2(6)比特。

1.2交叉熵

• 对于离散分布$ {\displaystyle p} 和 {\displaystyle q} ，$其中p为真实分布，q非真实分布, 这意味着：
  $$H(p,q)=-\sum _{x}p(x)\log q(x).$$

• 根据Gibbs’ inequality可知,H(p,q)>=H§恒成立，当q为真实分布p时取等号。

• 交叉熵是度量两个概率分布的统计量。差异越大，交叉熵越大；差异越小则交叉熵越小

• KL散度(Kullback–Leibler divergence，KLD)
  $$D(p||q)=H(p,q)-H(p)=\sum _{x}p(x)\ast log\frac{p(x)}{q(x)}$$

PSI（population stability index）

$$PSI=\sum (p_{actual}-q_{excepted})\times ln(\frac{p_{actual}}{q_{excepted}})$$
$$PSI=KL(p_{actual},q_{excepted})+KL(q_{excepted},p_{actual})$$

一般认为PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳定性差，建议修复

IV (information value)

$设p_{good}为在该变量分组下的好样本的分布，q_{bad}为坏样本的分布，得iv值的计算公式为：$
$$KL(p_{good},q_{bad})+KL(q_{bad},p_{bad})$$

https://blog.csdn.net/shenxiaoming77/article/details/78771698

psi 和IV值本质上是一直的，都是看二维随机变量的分布稳定性情况，PSI是不同时间之间的稳定性，IV值是好坏群体间的稳定性

1.3 困惑度（Perplexity)

• 对于随机变量X，其困惑度为：
  $$b^{H(p)}=b^{-{\sum }_{x}p(x)log(p(x))}$$

${\sum }_{x}p(x)=1$

• 概率模型困惑度
  $$b^{-\frac{1}{N}{\sum }_{i=1}^{N}H(p,q)}$$
  $$H(p,q)=-\sum _{x}p(x){\log }_{b}q(x)$$
  $p(x)中只有一个值为1,其对应的预测概率为q(x_i)，其余值为0，所以H(p,q)=-{\log }_{b}q(x_i)$

$$b^{-\frac{1}{N}{\sum }_{i=1}^N{\log }_{b}q(x_i)}$$

N为预测数据集合样本数，$q(x_i)$为真实值对应的预测概率

1.4条件熵

• 条件熵定义
  $$H(Y|X)=-\sum _{x\in X}p(x)H(Y|X=x)\text{\hspace{1em}(1.2.1)}$$

• 条件熵的三个推论
  $$H(Y|X)=-\sum _{x\in X,y\in Y}p(x,y)logp(y|x)\text{\hspace{1em}(1.2.2)}$$
  $$H(Y|X)=H(Y,X)-H(X)\text{\hspace{1em}(1.2.3)}$$
  $$H(X,Y)=H(Y|X)+H(X)=H(X|Y)+H(Y)\text{\hspace{1em}(1.2.4)}$$

• 推论的证明
  \begin{eqnarray}
  H(Y|X)&=&-\sum_{x \in X}p(x)H(Y|X=x)
  \
  &=&-\sum_{x \in X}p(x)\sum_{y \in Y}H(y|x)\tag{1.2.5}
  \
  &=&-\sum_{x \in X}p(x)\sum_{y \in Y}p(y|x)log\ p(y|x)\tag{1.2.6}
  \
  &=&-\sum_{x \in X,y\in Y}p(x,y)log\ p(y|x)\tag{1.2.7}
  \
  &=&-\sum_{x \in X,y\in Y}p(x,y)log\ \frac{p(y,x)}{p(x)}\tag{1.2.8}
  \
  &=&-\left[\sum_{x \in X,y\in Y}p(x,y)log\ p(y,x)-\sum_{x \in X,y\in Y}p(x,y)log\ p(x)\right]\tag{1.2.9}
  \
  &=&-\left[\sum_{x \in X,y\in Y}p(x,y)log\ p(y,x)-\sum_{x \in X}p(x)log\ p(x)\right]\tag{1.2.10}
  \
  &=&H(Y,X)-H(X)\tag{1.2.11}
  \end{eqnarray}

• 1.2.6推导1.2.7利用如下：
  $$\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)=\sum _{x\in X,y\in Y}p(y,x)$$
• 1.2.9推导1.2.10利用如下：
  $$\sum _{x\in X}\sum _{y\in Y}p(x,y)=\sum _{x\in X}p(x)$$

1.3、互信息

• 互信息的定义：
  $$I(X;Y)=\sum _{x\in X}\sum _{y\in Y}p(x,y)log\left(\frac{p(x,y)}{p(x)\cdot p(y)}\right)\text{\hspace{1em}(1.3.1)}$$
• 互信息的推论：
  \begin{eqnarray} I(X;Y) &=& H(X) - H(X|Y) \ &=& H(Y) - H(Y|X) \ &=& H(X) + H(Y) - H(X,Y) \ &=& H(X,Y) - H(X|Y) - H(Y|X) \end{eqnarray}
• 推论的证明：
  \begin{eqnarray}
  \
  I(X;Y)&=&\sum_{x \in X}\sum_{y \in Y}p(x,y)log\left(\frac{p(x,y)}{p(x)\cdot p(y)}\right)
  \
  &=&\sum_{x \in X}\sum_{y \in Y}p(x,y)log\left(\frac{p(x|y)\cdot p(y)}{p(x)\cdot p(y)}\right)
  \
  &=&\sum_{x \in X}\sum_{y \in Y}p(x,y)log\left(\frac{p(x|y)}{p(x)}\right)
  \
  &=&\sum_{x \in X}\sum_{y \in Y}p(x,y)log\ p(x|y)-\sum_{x \in X}p(x)log\ p(x)
  \
  &=&H(X)-H(X|Y)
  \end{eqnarray}

互信息代表两者之间的关联性，关联性越强者互信息越大

• 定义度量方式$d(X,Y)代表两个随机变量的距离$
  $$d(X,Y)=H(X,Y)-I(X;Y)$$
• 或者将其正则化，成为D(X,Y)
  $$D(X,Y)=\frac{d(X,Y)}{H(X,Y)}$$

2、信息增益

$特征A对训练数据集D的信息增益g(D,A):$
$$g(D,A)=H(D)-H(D|A)\text{\hspace{1em}(2.1)}$$

$信息增益大的特征具有更强的分类能力，因为信息增益大，所以H(D|A)就小，就是在特征A的条件下D的分类不确定性小，混乱程度低。$

$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}log\frac{|C_k|}{|D|}\text{\hspace{1em}(2.2)}$$

$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=\sum _{i=1}^n\frac{|D_i|}{|D|}\left(-\sum _{k=1}^K\frac{|D_{ik}|}{D_i}log\frac{|D_{ik}|}{D_i}\right)\text{\hspace{1em}(2.3)}$$

• $训练数据集为D，|D|为其样本容量，设有K个类C_k,|C_k|为属于类C_k的样本数。$
• $设特征A有n个不同的取值a_1,...a_n,根据A的取值将D划分为n个子集D_1,....,D_n,|D_i|为D_i样本个数。$
• $子集D_i中属于类C_k中的样本集合为D_{ik}$

3、信息增益比

$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}\text{\hspace{1em}(3.1)}$$
$$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}log\frac{|D_i|}{|D|}\text{\hspace{1em}(3.2)}$$

#4、CART（classification and regression）
##4.1、基尼指数
对于给定的样本集合D，其基尼指数为：
$$Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2\text{\hspace{1em}(4.1.1)}$$

$$Gini(D,A)=\sum _{i=1}^K\frac{|D_i|}{|D|}Gini(D_i)=\sum _{i=1}^n\frac{|D_i|}{|D|}\left(1-\sum _{k=1}^K{\left(\frac{|D_{ik}|}{|D_i|}\right)}^2\right)\text{\hspace{1em}(4.1.2)}$$

如果是二叉树，则同一特征在不同子树中可进行不同标准的多次分裂。

4.2、回归树（Regression Tree）

4.2.1 最小二乘回归树生成算法

• $1、选择最优切分变量j与切分点s,求解$

$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]$$

$遍历变量j(自变量X的维度)，对固定的切分变量j扫描切分点s，选择使上式达到最小值的(j,s)$
$在自变量X的第j维度，x_j⩽s的数据为R_1空间，模型的拟合值为c_1,残差为R_1空间的y值与c_1值的差，即：r_i=y_i-c_1{x}_i\in R_1(j,s)$
$在自变量X的第j维度，x_j>s的数据为R_2空间，模型的拟合值为c_2,残差为R_2空间的y值与c_2值的差，即：r_i=y_i-c_2{x}_i\in R_2(j,s)$
$此式为双重循环，首先在自变量的维度j，然后在此维度下寻找最合适的s。$

---

• $(y_i-c_1{)}^2,y_i-c_2{)}^2为损失函数。$
• $平方损失：L(y,f(x))=\frac{1}{2}(y-f(x){)}^2即残差的平方和，所以为最小二次回归树$
• $绝对值损失L(y,f(x))=|y-f(x)|$
• huber 损失：$$huberloss:L(y,f(x))=\{\begin{array}{cc}\frac{1}{2}(y-f(x){)}^2& |y-f(x)|<=\delta \\ \delta (|y-f(x)|-\delta /2)& |y-f(x)|>\delta \end{array}$$

• $2、用选定的(j,s)，划分区域并决定相应的输出值：$
  R 1 ( j , s ) = { x ∣ x j ⩽ s } R_{1}(j,s)=\{x|x^{j}\leqslant s\} R1​(j,s)={x∣xj⩽s}
  R 2 ( j , s ) = { x ∣ x j &gt; s } R_{2}(j,s)=\{x|x^{j}&gt; s\} R2​(j,s)={x∣xj>s}
  $$\widehat{c_m}=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,m=1,2$$

• 3、继续对两个子区域调用步骤1，2直至满足停止条件

• $4、将输入空间划分为M个区域R_1,R_2,...,R_M，生成决策树：$
  $$f(x)=\sum _{m=1}^M\widehat{c_m}I(x\in R_m)$$


#参考文献

• http://ccckmit.wikidot.com/st:mutualinformation
• https://zh.wikipedia.org/wiki/熵_(信息论)
• http://www.sohu.com/a/238802184_278472