![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DataWhale-高级算法梳理
beautiful_well
这个作者很懒,什么都没留下…
展开
-
12天summer----高级算法梳理-随机森林算法梳理
在决策树算法的技术上,结合集成学习的思想,就产生了随机森林,它可以利用集成的思想(投票选择的策略)来提升决策树的分类性能,并解决了过拟合等问题。集成学习其主要思想是利用一定的手段学习多个分类器,而且这多个分类器要求是弱分类器(分类精度较差,比随机预测略好,但准确率不太高),然后将多个分类器进行组合公共预测。核心思想就是如何训练出多个弱分类器以及如何将这些瑞分类器进行组合。目前集成学习主要有两大...原创 2019-08-08 20:26:06 · 207 阅读 · 0 评论 -
12天summer----高级算法梳理-GBDT算法梳理
梯度提升回归树是另一种集成方法,通过合并多个决策树来构建一个更为强大的模型。虽然名字中含有“回归”,但这个模型既可以用于回归也可以用于分类。与随机森林方法不同,梯度提升采用连续的方式构造树,每棵树都试图纠正前一棵树的错误。默认情况下,梯度提升回归树中没有随机化,而是用到了强预剪枝。梯度提升树通常使用深度很小(1到 5 之间)的树,这样模型占用的内存更少,预测速度也更快。梯度提升背后的主要思想是...原创 2019-08-08 21:34:03 · 173 阅读 · 0 评论 -
12天summer----高级算法梳理-XGBoost算法梳理
一、集成算法思想在决策树中,我们知道一个样本往左边分或者往右边分,最终到达叶子结点,这样来进行一个分类任务。 其实也可以做回归任务。https://xgboost.readthedocs.io/en/latest/parameter.html官网我们通常在做分类或者回归任务的时候,需要想一想一旦选择用一个分类器可能表达效果并不是很好,那么就要考虑用这样一个集成的思想。上面的图...原创 2019-08-14 19:16:20 · 120 阅读 · 0 评论 -
12天summer----高级算法梳理-LightGBM算法梳理
1、LightGBM简介 LightGBM是一个梯度Boosting框架,使用基于决策树的学习算法。它可以说是分布式的,高效的,有以下优势: 1)更快的训练效率 2)低内存使用 3)更高的准确率 4)支持并行化学习 5)可以处理大规模数据 Xgboost的缺点 1)每轮迭代时,都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小;如果不装进内存,反...原创 2019-08-14 20:13:48 · 167 阅读 · 0 评论