机器学习
liuluTL
这个作者很懒,什么都没留下…
展开
-
机器学习-树模型(Boosting)相关问题:极限梯度提升树XGBoost
文章目录XGBoost一、梯度提升树1.1 基评估器的个数(超参数)1.2 自助抽样:有放回的随机抽样1.3 迭代决策树XGBoost一、梯度提升树XGBoost的基础是梯度提升算法,因此我们必须先从了解梯度提升算法开始。梯度提升(Gradient boosting)是构建预测模型的最强大技术之一,它是集成算法中提升法(Boosting)的代表算法。集成算法通过在数据上构建多个弱评估器,汇总...原创 2020-03-29 22:21:29 · 2031 阅读 · 0 评论 -
梯度提升树原理(转载)
转载:https://www.cnblogs.com/pinard/p/6140514.html转载 2020-03-28 10:58:13 · 213 阅读 · 1 评论 -
机器学习-树模型(Boosting)相关问题:梯度提升树GBDT
文章目录梯度提升树GBDT一、Boosting 算法二、前向分步算法三、GBDT算法GBDT的正则化GBDT的优缺点梯度提升树GBDT一、Boosting 算法Boosting 是一族可将弱学习器提升为强学习器的算法.这族算法的工作机制类似:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的训练样本在后续受到更多关注,然后基于调整后的样本分布...原创 2020-03-27 22:39:06 · 475 阅读 · 0 评论 -
机器学习-树模型(Bagging)相关问题:随机森林
文章目录随机森林集成学习随机森林叙述随机森林之前先看一下什么是集成学习集成学习集成算法会考虑多个评估器的建模结果,汇总之后得到一个综合的结果,以此来获取比单个模型更好的回归或分类表现。多个模型集成成为的模型叫做集成评估器,组成集成评估器的每个模型都叫做基评估器。通常有三类集成算法:装袋法(Bagging),提升法(Boosting)和stacking。装袋法(bagging)的核心...原创 2020-03-26 19:44:37 · 875 阅读 · 0 评论 -
详解stacking过程(转载)
stacking:stacking是一种分层模型集成框架。以两层为例,第一层由多个基学习器组成,其输入为原始训练集,第二层的模型则是以第一层基学习器的输出作为特征加入训练集进行再训练,从而得到完整的stacking模型。stacking的方法在各大数据挖掘比赛上都很风靡,模型融合...转载 2020-03-24 14:25:08 · 823 阅读 · 0 评论 -
机器学习算法总结-树模型相关问题(一):决策树(ID3,C4.5,CART)
文章目录决策树一、特征选择1、不纯度2、分枝策略二、决策树生成ID3 C4.5 与CART树三、决策树的剪枝决策树决策树主要包含三个过程:特征选择、决策树生成和决策树剪枝两个核心问题:- 如何从数据表中找出最佳节点和最佳分枝; - 如何让决策树停止增长,防止过拟合一、特征选择特征选择是当你构建树的过程中,根节点如何选择,你要选择哪个特征进行分枝。1、不纯度决策树的每个叶子结点中都会包...原创 2020-03-24 10:52:51 · 874 阅读 · 0 评论