决策树和XGboost（理论）

最新推荐文章于 2024-05-23 13:48:08 发布

Kyrie_Irving

最新推荐文章于 2024-05-23 13:48:08 发布

阅读量739

点赞数

本文链接：https://blog.csdn.net/Kyrie_Irving/article/details/89490793

版权

1.1 决策树：依靠某种指标进行树的分裂达到分类/回归的目的，总是希望纯度越高越好。

1.11 决策树是啥？
有一堆人，我让你分出男女，你依靠头发长短将人群分为两拨，长发的为“女”，短发为“男”，你是不是依靠一个指标“头发长短”将人群进行了划分，你就形成了一个简单的决策树
1.12 划分的依据是啥？
这个时候，你肯定问，为什么用“头发长短”划分啊，我可不可以用“穿的鞋子是否是高跟鞋”，“有没有喉结”等等这些来划分啊，Of course！那么肯定就需要判断了，那就是哪一种分类效果好，我就选哪一种啊。
1.13分类效果如何评价量化呢？
怎么判断“头发长短”或者“是否有喉结”…是最好的划分方式，效果怎么量化。直观来说，如果根据某个标准分裂人群后，纯度越高效果越好，比如说你分为两群，“女”那一群都是女的，“男”那一群全是男的，这个效果是最好的，但事实不可能那么巧合，所以越接近这种情况，我们认为效果越好。于是量化的方式有很多，信息增益（ID3）、信息增益率（C4.5）、基尼系数（CART）等等，来用来量化纯度

分裂属性选择的评判标准是决策树算法之间的根本区别。区别于ID3算法通过信息增益选择分裂属性，C4.5算法通过信息增益率选择分裂属性。

1.2 信息增益（ID3）

1.21 ID3算法流程(基于信息增益的最优特征选取)

1.计算数据集中所有特征（属性）的信息增益。
2.比较信息增益最大的作为最优特征，以此为决策树的根节点。
3.在剩余未成节点的特征中进行递归成树。
1.22 核心思想
决策树算法中根节点的分类权重最高，向下依次递减；选取分类能力最强的特征作为根节点可以极大的提升分类效率。通过信息增益量化每个特征的分类能力，该特征信息增益越大，分类能力越强，即：计算数据集中各特征点的信息增益，信息增益最大的特征点作为决策树根节点，依次向下递归。
1.23 信息增益
在信息增益中，衡量标准是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。对一个特征而言，系统有它和没它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量，就是熵。

1.3 信息增益率（C4.5）
既然说C4.5算法是ID3的改进算法，那么C4.5相比于ID3改进的地方有哪些呢？：
（1）通过信息增益率选择分裂属性，克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足；
（2）能够处理离散型和连续型的属性类型，即将连续型的属性进行离散化处理；
（3）构造决策树之后进行剪枝操作；
（4）能够处理具有缺失属性值的训练数据
C4.5算法训练的结果是一个分类模型，这个分类模型可以理解为一个决策树，分裂属性就是一个树节点，分类结果是树的结点。每个节点都有左子树和右子树，结点无左右子树。

1.4 基尼系数（CART）
CART分类树算法使用基尼系数来代替信息增益比，基尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好。这和信息增益(比)是相反的。

1.41 CART算法流程

对于当前节点的数据集为D，如果样本个数小于阈值或者没有特征，则返回决策子树，当前节点停止递归。
计算样本集D的基尼系数，如果基尼系数小于阈值，则返回决策树子树，当前节点停止递归。
计算当前节点现有的各个特征的各个特征值对数据集D的基尼系数，对于离散值和连续值的处理方法和基尼系数的计算见第二节。缺失值的处理方法和上篇的C4.5算法里描述的相同。
在计算出来的各个特征的各个特征值对数据集D的基尼系数中，选择基尼系数最小的特征A和对应的特征值a。根据这个最优特征和最优特征值，把数据集划分成两部分D1和D2，同时建立当前节点的左右节点，做节点的数据集D为D1，右节点的数据集D为D2.
对左右的子节点递归的调用1-4步，生成决策树。

2、Xgboost

2.1 XGboost 建树过程

分类与回归是一个型号的东西，只不过分类的结果是离散值，回归是连续的，本质是一样的，都是特征（feature）到结果/标签（label）之间的映射。
判定树的节点分裂采用的方式：预测误差，常用的有均方误差、对数误差等。而且节点不再是类别，是数值（预测值），那么怎么确定呢，有的是节点内样本均值，有的是最优化算出来的比如Xgboost。细节http://blog.csdn.net/app_12062011/article/details/52136117博主讲的不错
boosting集成学习，由多个相关联的决策树联合决策，什么叫相关联，也就是说，下一棵决策树输入样本会与前面决策树的训练和预测相关。首先Xgboost首先是一个boosting的集成学习
回归树形成的关键点：
（1）分裂点依据什么来划分（如前面说的均方误差最小，loss）；
（2）分类后的节点预测值是多少（如前面说，有一种是将叶子节点下各样本实际值得均
值作为叶子节点预测误差，或者计算所得）