瓜书学习之路(二)

决策树

注意事项

本文仅供自己学习参考用，如有错误，请联系本人删除或修改。谢谢各位。

基本流程

决策树是基于树结构

ID3决策树

信息熵

度量样本集合纯度最常用的一种指标定义如下
$$Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k$$

    Ent(D)的值越小，D的纯度越高。

$$D=(x_1,y_1),(x_2,y_2),(x_3,y_3)\cdots (x_m,y_m)表示样本集合，|y|表示样本类别综述p_k表示第K类样本所占比例，且0\le p_k\le 1$$

证明

$$0\le Ent(D)\le lo{g}_2|y|$$

求Ent(D)最大值：

假设为n分类问题 |y| = n  

$$Ent(D)=f(x_1,\cdots ,x_n)=-\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k$$
$$其中0\le x_k\le 1,\sum _{k=1}^n{x}_k=1$$
$$p_k=x_k$$ $$p_k是第k类样本所占比例，所以$$

假设仅考虑以下约束
$$\sum _{k=1}^n{x}_k=1$$
$$对f(x_1\cdots x_n)求最大值$$
$$min\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k等同于n个xlo{g}_{2}x之和$$
$$(xlo{g}_{2}x{)}^{"}二阶导数恒大于零，则证明xlo{g}_{2}x是凸函数，同理nlo{g}_{2}x也为凸函数，也可用Hessian矩阵正定性证明$$
$所以min{\sum }_{k=1}^n{x}_{k}lo{g}_2{x}_k也为凸函数$
凸优化问题，满足KKT条件的点为最优解。即
$$min\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k$$存在最小值点，则
$$对f(x_1\cdots x_n)存在最大值$$
$\mathbf{K}KT可见最优化基础理论与方法$
根据拉格朗日函数的一阶导数为0 可以找出最优化的点，满足KKT的点
拉格朗日乘子法

$$L(x_1,x_2,\cdots ,x_n,\lambda )=\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)\lambda 为拉格朗日乘子$$
求上式的一阶偏导，并等于0
$$\frac{\delta L(x_1,\cdots ,x_n)}{\delta x_1}=\frac{\delta L}{\delta x_1}[\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)]$$
$$=lo{g}_2{x}_1+\frac{x_1\cdot 1}{x_{1}ln2}+\lambda$$
$$=lo{g}_2{x}_1+\frac{1}{ln2}+\lambda$$
令一阶偏导为0
$$lo{g}_2{x}_1+\frac{1}{ln2}+\lambda =0$$
$$lo{g}_2{x}_1+\frac{1}{ln2}=-\lambda$$
$$同理证明x_2,x_3$$
$$lo{g}_2{x}_2+\frac{1}{ln2}=-\lambda$$
$$\cdots$$
$$lo{g}_2{x}_n+\frac{1}{ln2}=-\lambda$$
$$得x_1=x_2=\cdots =x_n$$
$$对\lambda 求偏导$$
$$\frac{\delta L(x_1,\cdots ,x_n,\lambda )}{\delta \lambda }=\frac{\delta L}{\delta \lambda }[\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k+\lambda (\sum _{k=1}^n{x}_k-1)]$$
令一阶为0
$$\sum _{k=1}^n{x}_k-1=0$$
$$解的x_1=x_2=\cdots =x_n=\frac{1}{n}$$

$$Ent(D)=f(\frac{1}{n},\cdots ,\frac{1}{n})=-\sum _{k=1}^n\frac{1}{n}lo{g}_2\frac{1}{n}=lo{g}_{2}n$$
$$所有在满足约束条件下，最大值为lo{g}_{2}n$$

同理证明Ent(D)最小值，求Ent(D)的最小值，就是求N个一元函数的加和，求每个一元函数的最小值就是求Ent的最小值。求一阶二阶导数
$$求g^{{}^{\prime }}(x_n)=-lo{g}_2{x}_n-\frac{1}{ln2}$$
$$求g^{{}^{\prime \prime }}(x_n)=-\frac{1}{x_{1}ln2}$$
$$因为0\le x_n\le 1,g^{{}^{\prime \prime }}(x_n)<0$$
所以单调递减，最小值在边界 0 或者 1
$$g(x_n)=0即最小值Ent(D)=0$$
$$0\le Ent(D)\le 1$$

条件熵

在已知样本属性x的取值下，度量样本集合纯度的指标

$$H(D|x)=\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$
$$其中,x表示样本的某个属性，假定x有V个可能的取值x^1,\cdots ,x^V，样本集合中在属性x上取值为a^V的样本记D^v$$
$$Ent(D^v)表示D^v的信息熵H(D|x)的值越小，纯度越高$$
条件熵是在已知部分信息的基础上的信息熵

ID3决策树

以信息增益为准则来选择划分属性的决策树
信息增益

$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$
$$=Ent(D)-H(D|a)$$
信息熵减去条件熵

ID3对可取值数目较多的属性 友好

$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$
$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}(-\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k)$$
$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}\sum _{k=1}^n{x}_{k}lo{g}_2{x}_k$$
$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}-(\sum _{k=1}^n\frac{|D_k^v|}{|D^v|}lo{g}_2\frac{|D_k^v|}{|D^v|})$$
$$D_k^v是集合D中属性为x上取值为a^v且类别为k的样本$$
$$极端想法，某属性的v取值等于样本集合数D即v=|D|，则\frac{|D_k^v|}{|D^v|}=1$$

$$信息熵恒大于零，0\le -(\sum _{k=1}^n\frac{|D_k^v|}{|D^v|}lo{g}_2\frac{|D_k^v|}{|D^v|})$$
$$所以0\le \sum _{v=1}^V\frac{|D^v|}{|D|}-(\sum _{k=1}^n\frac{|D_k^v|}{|D^v|}lo{g}_2\frac{|D_k^v|}{|D^v|})$$
当上式取最小值时，Gain(D,a) = Ent(D) 信息增益取到最大值。如果我们选择信息增益最大作为属性划分的话就会选择属性a来作为划分，会产生过拟合现象，所以加上惩罚项 就是C4.5

C4.5决策树

以信息增益率为准则来划分属性

$$Gai{n}_{r}atio(D,a)=\frac{Gain(D,a)}{IV(a)}$$
$$IV(a)=-\sum _{v=1}^V\frac{|D^v|}{|D|}lo{g}_2\frac{|D^v|}{|D|}$$
IV(a) 等同于信息熵， 如果信息熵越大，惩罚项也越大，分母也大。
增益率准则对可取值数目较少的属性有所偏好。C4.5先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的

CART决策树

以基尼指数为准备来选择划分属性的决策树

基尼值

从集合D中随机抽取两个样本。其类别标记不一致的概率。因此基尼值越小，D的纯度越高

$$Gini(D)=\sum _{k=1}^{|y|}\sum _{k^{{}^{\prime }}\ne k}{p}_k{p}_k^{{}^{\prime }}=\sum _{k=1}^{|y|}\sum _{k^{{}^{\prime }}\ne k}{p}_k(1-p_k)$$
$$=1-\sum _{k=1}^{|y|}{p}_k^2$$

$$Gin{i}_{i}ndex(D,a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$$

分类算法CART

1.  根据基尼指数公式找出基尼指数最小的属性a
2.  计算属性a所有可能取值的基尼值，取最小的尼基值的点作为划分点，将D划分为D1和D2两个集合

$$其中D1=k^{{}^{\prime }},D2=k=1-k^{{}^{\prime }}，D1是k^{{}^{\prime }}=k的样本，D2是k^{{}^{\prime }}\ne k$$
3. 对集合D1和D2重复上述1,2过程直至结束。

回归算法CART

1.根据一下公式找出最优划分特征和最优划分点
2.公式自己百度，打不出来
3.根据划分点将集合D划分开
4.如此重复