![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集成学习
莫一丞元
根特大学PhD在读
展开
-
adaboost理解
boostingbagging原创 2020-09-10 20:38:11 · 51 阅读 · 0 评论 -
lightgbm理解
详情:原创 2020-09-10 20:34:52 · 113 阅读 · 0 评论 -
xgboost理解
XGBoost(Extreme Gradient Boosting)全名为极端梯度提升,是GBDT的改进,可以用于分类也可以用于回归问题。下面讲述一下单个树结构、xgboost思路、xgboost原理推导、xgboost模型参数四个方面内容。单个树结构:对于每一棵回归树,其模型为:其中w为叶子节点的得分值,q(x)表示样本x对应的叶子结点,T为该树的叶子结点个数。其中为了提高树的泛化能力,这时需要加入正则项,公式如下:举一个简单例子如下图:xgboost思路:首先明确下目标是,希望建原创 2020-09-10 20:29:44 · 505 阅读 · 0 评论 -
集成学习理解
首先集成学习并不是只出现在分类问题中,回归等其它问题仍然可以看到他的身影。集成学习,顾名思义,就是通过构建多个弱学习器,使他们共同完成学习任务。其中假若该集成学习中弱学习器(或称为基学习器)相同,则该集成就称为“同质”的,其中以boosting系列和bagging系列为代表的;假若该集成学习中弱学习器不相同,则称该集成就称为“异质”的。下面主要讲述“同质”集成中boosting系列和bagging系列的基本思想。boosting系列该系列算法的基本思想:先从初始训练集训练出一个基学习器,再根据基学原创 2020-09-10 20:18:37 · 164 阅读 · 0 评论