集成学习
文章平均质量分 96
牛魔王与二锅头
这个作者很懒,什么都没留下…
展开
-
Datawhale集成学习-XGBoost算法与LightGBM算法
Datawhale集成学习-XGBoost算法与LightGBM算法1.XGBoost算法2. Xgboost算法案例2.1 ## 分类案例2.1 回归案例2.3 XGBoost调参(结合sklearn网格搜索)3. LightGBM算法1.XGBoost算法 XGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。 XGBoost本质上还是一个GBDT,但是力争把速度和效原创 2021-04-26 23:12:51 · 302 阅读 · 0 评论 -
Datawhale集成学习-前向分步算法与梯度提升决策树
Datawhale集成学习-前向分步算法与梯度提升决策树1. 前向分步算法1.1 加法模型1.2 前向分步算法1.3 前向分步算法与Adaboost的关系2. 梯度提升决策树(GBDT)2.1 基于残差学习的提升树算法:2.1 梯度提升决策树算法(GBDT)3 使用sklearn来使用GBDT1. 前向分步算法 回看Adaboost的算法内容,我们需要通过计算M个基本分类器,每个分类器的错误率、样本权重以及模型权重。我们可以认为:Adaboost每次学习单一分类器以及单一分类器的参数(权重)。接下来,原创 2021-04-23 23:38:22 · 141 阅读 · 0 评论 -
Datawhale集成学习-Boosting的思路与Adaboost算法
Datawhale集成学习-Boosting的思路与Adaboost算法一、Boosting的思路2.1 强可学习与弱可学习2.2 Boosting二、Adaboost算法2.1 Adaboost的基本原理三、使用sklearn对Adaboost算法进行建模 在前面的学习中,我们探讨了探讨了如何使用集成学习家族中的Bagging思想去优化最终的模型。那么,本章介绍的Boosting是与Bagging截然不同的思想。Boosting方法是使用同一组数据集进行反复学习,得到一系列简单模型,然后组合这些模型构原创 2021-04-20 22:24:02 · 128 阅读 · 0 评论 -
Datawhale集成学习-bagging的原理和案例分析
Datawhale集成学习-bagging的原理和案例分析一、决策树1.1、决策树的概述1.1.1、ID3算法:以信息增益为准则来选择最优划分属性1.1.2、C4.5算法:基于信息增益率准则选择最有分割属性的算法1.1.3、CART:以基尼系数为准则选择最优划分属性,可用于分类和回归1.2、决策树的分类1.2.1、分类树1.2.2、回归树1.3、决策树例子二、bagging的原理分析2.1、bootstrap的概念2.2、Bagging的基本流程三、随机森林3.1、随机森林的概述3.2、算法流程3.3、袋外原创 2021-04-17 22:57:59 · 753 阅读 · 0 评论