决策树(ID3,ID4.5,CART)&随机森林

决策树

信息量

从一般常识来说,一件事情发生会给我们带来很多信息,比如:
    1. 太阳从东边出来
    2. 男人生孩子
    从上面的两件事件发生给到我们的信息量是不一样的,事件1发生给我们的信息量少,因为太阳本来就一直是从东边出来的(南极,北极可能不太一样),基本上是一个必然发生事件;而事件2发生给我们的信息量就很大,因为它不太可能发生,如果真的发生了,我们肯定会联想是不是什么新的医学技术等等.
    那么这样看来发生概率大的事件发生了,给我们的信息量就小,发生概率小的事件发生了,给我们的信息量就大,那么我们很容易想到,事件 X = { x } X=\{x\} X={x}发生的概率$p(x)$,与事件 X = { x } X=\{x\} X={x}发生产生的信息量$h(x)$必然存在一个函数关系,那么是个什么关系呢?
我们学概率论的时候就知道如果两个相互独立的事件同时发生的概率为:
$$p(A,B)=p(A)\ast p(B)\text{\hspace{1em}(1)}$$
从常识来讲,两个事件同时发生所产生的信息量应该是两个事件发生的信息量之和:
$$h(A,B)=h(A)+h(B)\text{\hspace{1em}(2)}$$
要确定信息量$h(A)$与事件发生概率$p(A)$的函数关系,也就是需要找到一个函数$f(x)$使得
$$f(p(A))=h(A)\text{\hspace{1em}(3)}$$
那么我们可将(1)(2)两式带入到(3)当中,得到:
$$h(A,B)=f(p(A,B))=f(p(A)\ast p(B)\text{\hspace{1em}(4)}$$
$$h(A,B)=h(A)+h(B)=f(p(A)+p(B))\text{\hspace{1em}(5)}$$
由(4)(5)可得到:
$$f(p(A)\ast p(B))=f(p(A)+p(B))\text{\hspace{1em}(6)}$$
从(6)式就可以看出,$f(x)$应该是一个对数函数,则我们可以得到:
$$h(x)=k\ast lo{g}_{a}p(x)a>1\text{\hspace{1em}(7)}$$
由于信息量肯定是一个正值,因此,我们去$k=-1$,$a$可以任意取值,这里我们去$a=e$,由此,我们就找到了信息量与事件发生的关系,函数如下:
$$h(x)=-lnp(x)\text{\hspace{1em}(8)}$$

信息熵

定义: 事件集合 X = { X 1 , X 2 , . . . , X n } X=\{X_1,X_2,...,X_n\} X={X1​,X2​,...,Xn​}中,每个事件$X_i$发生的信息量期望值之和就为信息熵
由定义,可以得到信息熵的函数表达为:
$$H(X)=-\sum _{i=1}^{n}p(X_i)\ast lnp(X_i)\text{\hspace{1em}(9)}$$

条件熵

条件熵定义: 在给定条件 X = { x 1 , x 2 , . . . , x n } X=\{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}下, Y = { y 1 , y 2 , . . . , y m } Y=\{y_1,y_2,...,y_m\} Y={y1​,y2​,...,ym​}的条件概率分布的熵对$X$的数学期望.
$$H(Y|X)=\sum _{i=1}^{n}p(x_i)H(Y|X=x_i)\text{\hspace{1em}(10)}$$
$$\begin{gathered} H(Y|X=x_i)=-\sum _{i=1}^{n}p(y_j|x_i)\ast lnp(y_i|x_i) \\ j\in (1,2,...,m)\text{\hspace{1em}(11)} \end{gathered}$$
通俗的解释理解一下这个公式:
$$-p(y_1|x_1)\ast lnp(y_1|x_1)\text{\hspace{1em}(12)}$$
标示的是当$x_1$发生了$y_1$发生所产生的信息熵
$$-\sum _{j=1}^{m}p(y_j|x_1)\ast lnp(y_j|x_1)\text{\hspace{1em}(13)}$$
标示的是当$x_1$发生了$Y$发生所产生的信息熵,也就是在$X=x_1$这个小的分组内,$Y$的信息熵

$$\begin{gathered} -[p(x_1)\sum _{j=1}^{m}p(y_j|x_1)\ast lnp(y_j|x_1) \\ +p(x_2)\sum _{j=1}^{m}p(y_j|x_2)\ast lnp(y_j|x_2) \\ +...+ \\ p(x_n)\sum _{j=1}^{m}p(y_j|x_n)\ast lnp(y_j|x_n)]\text{\hspace{1em}(14)} \end{gathered}$$
标示每个 X = { x 1 , x 2 , . . . , x n } X=\{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}中每个小的分组中Y={y_1,y_2,…,y_m}的信息熵对X的数学期望,所以在(13)的基础上乘以$x_i$发生的概率$p(x_i)$,就得到了(14),即为我们的条件熵,(14)简化一下可写成:
$$\begin{gathered} H(Y|X)=\sum _{i=1}^{n}p(x_i)H(Y|X=x_i) \\ =-\sum _{i=1}^n[p(x_i)\sum _{j=1}^{m}p(y_j|x_i)\ast lnp(y_i|x_i)]\text{\hspace{1em}(15)} \end{gathered}$$
由条件概率公式:
$$P(A|B)=\frac{P(AB)}{P(B)}\text{\hspace{1em}(16)}$$
将(16)带入到(15)
$$\begin{gathered} H(Y|X)=-\sum _{i=1}^n[p(x_i)\sum _{j=1}^m\frac{p(y_j,x_i)}{p(x_i)}\ast lnp(y_i|x_i)] \\ =\sum _{i=1}^n\sum _{j=1}^{m}p(y_j,x_i)\ast lnp(y_i|x_i)\text{\hspace{1em}(17)} \end{gathered}$$

信息增益(ID3)

信息增益: 用以度量两种概率分布P和Q的差异,决策树中就是根据特征分类前后熵的差异.
那么,采用$X$分类后,在采用$Y$进行分类的信息增益,也就是通过$X$分类后,发生$Y$的信息熵的变化量:
$$Gain(Y)=H(Y)-H(Y|X)\text{\hspace{1em}(18)}$$
信息增益标示按某种特性分类后,剩余特性的信息熵的大小的衰减程度,信息熵越小,证明已经分好的类别就更加的纯粹单一,所以在生成决策树的时候,选择信息增益大的特征进行分类就可以更好的区分样本.这就是决策树ID3算法

信息增益率(ID4.5)

由于ID3算法会倾向于选取特征值较多的特征进行分类(因为这样会让信息增益很大),比如:区分每个学生的成绩采用学生的学号进行区分,那么每个学生对应一个学号,则按照学号分的话,每个分组中就只有一个样本,并且信息熵为0,显然这个不是我们想要的,因此我们引入了信息增益率,每次选择分类特性的时候,根据信息增益率进行选取,也就是决策树ID4.5算法
$$GainRatio(Y)=\frac{H(Y)-H(Y|X)}{H(Y)}\text{\hspace{1em}(19)}$$

基尼系数(CART)

基尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好。这和信息增益(比)是相反的.如果分类特$A$中又n个特征值,用$k_i$标示每个特征值,则该特征的基尼系数为:
$$\begin{gathered} Gini(A)=\sum _{i=1}^{n}p(k_i)(1-p(k_i)) \\ =\sum _{i=1}^{n}p(k_i)-\sum _{i=1}^{n}p(k_i{)}^2 \\ =1-\sum _{i=1}^{n}p(k_i{)}^2\text{\hspace{1em}(20)} \end{gathered}$$

剪枝

TODO

随机森林

TODO

样本集合随机

TODO

样本特征随机

TODO