李航蓝皮书总结(一)：树结构模型

最新推荐文章于 2024-11-21 03:15:00 发布

inf_zh

最新推荐文章于 2024-11-21 03:15:00 发布

阅读量1.9k

点赞数

分类专栏： Machine Learning / Data Mining

本文链接：https://blog.csdn.net/qq_33840784/article/details/80302739

版权

本文主要介绍了树结构模型中的四种重要算法：决策树，包括ID3、C4.5和CART的区别；随机森林的采样策略及其在分类与回归中的应用；GBDT作为boosting算法的工作原理和优化方法；以及XGBoost的优化目标和并行计算特性。此外，对比了LightGBM在生长策略和直方图算法上的改进。

摘要由CSDN通过智能技术生成

一、决策树

1、可以认为是定义在特征空间与类空间上的条件概率分布。
2、优点是具有可读性，训练速度快。
3、算法为：递归地，选择最优特征，根据该特征对训练数据进行分割使得对每个子数据集有一个最好的分类的过程。
4、特征选择的原则分为：信息增益（ $g(D, A) = H(D) - H(D|A)$ )，信息增益比（ $g_R(D,A) = \frac{g(D, A)}{H_A(D)}$ ），基尼系数( $Gini(D) = 1-\sum\limits_{k=1}^K(\frac{|C_k|}{|D|})^2$ )
5、ID3算法用信息增益最大准则选择特征；C4.5算法用信息增益比最大准则选择特征；CART算法用基尼系数最小准则选择特征，并通过交叉验证法在独立的验证数据集上对剪枝后的子树序列进行测试，从中选择最优子树。

二、随机森林

1、属于bagging算法（boostrap aggregation）首先，从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）；然后每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等，随机森林采取的是CART算法的决策树模型为基模型。）；对分类问题，将上步得到的k个模型采用投票的方式得到分类结果。对回归问题，计算上述模型的均值作为最后的结果（所有模型的重要性相同）。
2、训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的；使用均匀取样，每个样例的权重相等；使用均匀取样，每个样例的权重相等；使用均匀取样，每个样例的权重相等。
3、除了行采样，还使用了列采样， $m\ll M$ 。

二、GBDT

1、属于boosting算法。
2、每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整；根据错误率不断调整样例的权值，错误率越大则权重越大；每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重；各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
3、每次迭代获得的决策树模型都要乘以一个缩减系数，从而降低每棵树的作用，提升可学习空间。
4、待求的函数模型当作参数，每一步要拟合目标函数关于上一步获得的模型的负梯度，从而使得参数朝着最小化目标函数的方向更新。