集成学习
文章平均质量分 52
a flying bird
永远飞翔的鸟
展开
-
GBDT为什么拟合上一次的负梯度
转载 2021-02-15 10:36:31 · 320 阅读 · 0 评论 -
RF、GBDT、XGboost特征选择方法(特征重要度的依据)
RF、GBDT、XGboost都可以做特征选择,属于特征选择中的嵌入式方法。比如在sklearn中,可以用属性feature_importances_去查看特征的重要度, 比如:from sklearn import ensemble#grd = ensemble.GradientBoostingClassifier(n_estimators=30)grd = ensemble.Ran...转载 2020-02-29 14:13:00 · 7807 阅读 · 0 评论 -
GBDT原理与实践-多分类篇
GBDT原理与实践-多分类篇转载 2020-02-29 13:21:53 · 284 阅读 · 0 评论 -
GBDT原理与Sklearn源码分析-分类篇
GBDT原理与Sklearn源码分析-分类篇转载 2020-02-29 13:19:08 · 303 阅读 · 0 评论 -
GBDT原理与Sklearn源码分析-回归篇
建树的sourcecode:https://github.com/scikit-learn/scikit-learn/blob/1495f6924/sklearn/tree/tree.py#L899转载 2020-02-29 12:42:15 · 262 阅读 · 0 评论 -
xgboost之近似分位数算法(直方图算法)详解
xgboost之分位点算法转载 2020-02-28 18:19:24 · 4465 阅读 · 1 评论 -
XGBoost之切分点算法(贪婪算法、分位点算法、权重分位点算法、稀疏数据切分算法)之一(含例子解释)
需要注意是:引入的分割不一定会使得情况变好,因为在引入分割的同时也引入新叶子的惩罚项。所以通常需要设定一个阈值,如果引入的分割带来的增益小于一个阀值的时候,我们可以剪掉这个分割。此外在XGBoost的具体实践中,通常会设置树的深度来控制树的复杂度,避免单个树过于复杂带来的过拟合问题。关于精确贪心算法和近似分割算法的小结QA:为什么近似分割算法比精确贪心算法要快?首先我们得捋一下这两个寻...转载 2020-02-28 15:58:47 · 1541 阅读 · 0 评论 -
集成学习之机器学习比赛大杀器----模型融合(stacking & blending) 之通过多个kaggle竞赛分析模型融合的方法和效果
从https://mlwave.com/kaggle-ensembling-guide/翻译过来,对目前kaggle竞赛中使用的模型融合方法和效果进行了分析,并给出了使用模型融合的指导思想。怎样赢得机器学习比赛:你拿别人的结果和你自己的结果与做集成。—— Vitaly Kuznetsov NIPS2014。集成模型是一种能在各种的机器学习任务上提高准确率的强有力技术。在这篇文章中,我会...转载 2020-02-20 14:01:04 · 4848 阅读 · 1 评论 -
集成学习之Stacking实战
关于bagging和boosting的集成学习的例子很多,就不讲解了,本节讲解stacking集成学习。StackingStacking方法其实弄懂之后应该是比Boosting要简单的,毕竟小几十行代码可以写出一个Stacking算法。我先从一种“错误”但是容易懂的Stacking方法讲起。Stacking模型本质上是一种分层的结构,这里简单起见,只分析二级Stacking.假设我们有3...转载 2020-02-20 10:40:40 · 1337 阅读 · 0 评论 -
集成学习之bagging、boosting、stacking三种理论概述和对比
「团结就是力量」。这句老话很好地表达了机器学习领域中强大「集成方法」的基本思想。总的来说,许多机器学习竞赛(包括 Kaggle)中最优秀的解决方案所采用的集成方法都建立在一个这样的假设上:将多个模型组合在一起通常可以产生更强大的模型。本文介绍了集成学习的各种概念,并给出了一些必要的关键信息,以便读者能很好地理解和使用相关方法,并且能够在有需要的时候设计出合适的解决方案。本文将讨论一些...转载 2020-02-20 09:15:26 · 5458 阅读 · 1 评论 -
集成学习之常见六种模型融合具体方法详解
目录1.线性加权融合方法2.交叉融合法3.瀑布融合法4.多而不同之融合5.预测融合法6.加性融合本文包括常见的模型融合方法、代码链接、进阶的思路。1.线性加权融合方法从算法的角度来看,则最常用的是采用加权型的混合推荐技术,即将来自不同推荐算法生成的候选结果及结果的分数,进一步进行组合(Ensemble)加权,生成最终的推荐排序结果。具体来看,比较原始的加权型...转载 2020-02-20 08:49:32 · 14250 阅读 · 1 评论 -
XGBoost中参数调整的完整指南(包含Python中的代码)
介绍如果事情不适合预测建模,请使用XGboost。XGBoost算法已成为许多数据科学家的终极武器。它是一种高度复杂的算法,功能强大,足以处理各种不规则的数据。使用XGBoost构建模型很容易。但是,使用XGBoost改进模型很困难(至少我很挣扎)。该算法使用多个参数。要改进模型,必须进行参数调整。很难得到像实际问题的答案 - 你应该调整哪一组参数?获得最佳输出的这些参数的理想值是多少?...转载 2018-09-14 18:24:00 · 19344 阅读 · 0 评论 -
机器学习之从gbdt到xgboost
一、GBDT 1.GBDT相关原理详细讲解1.GBDT算法原理以及实例理解https://blog.csdn.net/zpalyq110/article/details/79527653(必看)Github:https://github.com/Freemanzxp/GBDT_Simple_Tutorial2.机器学习 【 GBDT算法】 实例推导计算+详细过程 (入门必...原创 2018-07-21 16:47:40 · 749 阅读 · 0 评论 -
RF、GBDT、XGBoost面试级整理
RF、GBDT和XGBoost都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 根据个体学习器的生成方式,目前的集成学习方法大致分为两大类:即个体学习器之间存在强依赖关系、必须串行生成的序列化方法,以及个体学习器间不存在强依赖关系、可同时生成的并行化方法;前者的代表就是Boosting,后者的代表是B...原创 2018-07-12 20:41:22 · 672 阅读 · 0 评论 -
机器学习之集成学习Boosting(Adboost、GBDT、Xgboost)
目录1.从方差和偏差角度理解Bagging和Boosting2.Boosting学习笔记(Adboost、GBDT、Xgboost)3.决策树和基于决策树的集成方法(DT,RF,GBDT,XGB)总结1.算法概述2.算法推导3.算法特性及优缺点4.注意事项5.实现和具体例子1.从方差和偏差角度理解Bagging和Boosting Boos...原创 2018-04-01 20:19:41 · 4584 阅读 · 0 评论