决策树

1.分类树

1.1.1信息熵

定义随机事件$X=x$的自信息为
$$I(X=x)=-lo{g}_{a}P(X=x)$$

• 注，$a=2$时$H(X)$单位为比特,$a=e$时$H(X)$单位为奈特

对所有自信息求均值即得到信息熵,它是用来衡量信息不确定性的指标，数值越大，不确定性越大
$$\begin{array}{rl}H(X)& =\sum _{i=1}^{n}P(X=x_i)I(X=x_i)\\ & =-\sum _{i=1}^{n}P(X=x_i)lo{g}_{a}P(X=x_i)\\ & ={\mathbb{E}}_{X\sim P}logP(x)\end{array}$$

• $a=2$是一般情况

1.1.2条件熵

顾名思义，即为条件概率的信息熵,固定条件$X=x$求$H(Y|X=x)$
$$\begin{array}{rl}H(Y|X=x)& =\sum _{i=1}^{n}P(Y=y_i|X=x)I(Y=y_i|X=x)\\ & =-\sum _{i=1}^{n}P(Y=y_i|X=x)lo{g}_{2}P(Y=y_i|X=x)\end{array}$$

1.1.3信息增益

代表在一个条件下，信息不确定性的减少程度
$$I(Y,X)=H(Y)-H(Y,X)$$

• 我们用信息增益最大的条件在决策树中分支

1.1.4KL散度

衡量数据真实分布$P(x)$和模型预测分布$Q(x)$的差异程度
$$D_{KL}(P||Q)={\mathbb{E}}_{X\sim P}[log\frac{P(x)}{Q(x)}]={\mathbb{E}}_{X\sim P}[logP(x)-logQ(x)]$$

• KL散度是非负数的

1.1.5交叉熵

$$H(P,Q)=H(P)+D_{KL}(P||Q)=-{\mathbb{E}}_{X\sim P}logQ(x)$$

• 常用损失函数

1.2.1基尼指数

基尼指数也叫基尼不纯度，表示在样本集合中一个随机样本被分错的概率，指数越小，被分错的概率越小，集合的纯度越高。
$$Gini(p)=\sum _{i=1}^n{p}_i(1-p_i)=1-\sum _{i=1}^n{p}_i^2$$

• $p_i$表示选中第$i$个类别的概率

1.2.2CART树

CART树是二叉树,对于一个具有多个取值(超过2个)的特征,需要计算以每一个取值作为划分点,计算样本D划分后自己的纯度 $Gini(D,i)$，从所有的可能的划分中找到$Gini(D,i)$最小的划分，即使目标划分。

2.回归树

树模型处理回归问题，叶子节点输出预测值，然后对各叶子节点线性组合求均值。回归树的分支标准为标准方差回归树使用某一特征将原集合分为多个子集，用标准方差衡量子集中的元素是否相近，越小表示越相近。
$$\overline{x}=\frac{{\sum }_{i=1}^{n}x}{n}$$
$$S=\sqrt{\frac{{\sum }_{i=1}^n(x-\overline{x}{)}^2}{n-1}}$$
$$cv=\frac{S}{\overline{x}}$$
$$S(T,X)=\sum _{c\in X}P(c)S(c)$$
$$SDR(T,X)=S(T)-S(T,X)$$

• $cv$是变异系数，决定是否继续分支，$SDR(T,X)$是标准差增益，选定值最大的进行分类。