集成学习
文章平均质量分 80
无盐薯片
这个作者很懒,什么都没留下…
展开
-
集成学习-XGBoost及LightGBM
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档集成学习-XGBoost及LightGBM1.XGBoost1.1思想1.2数据集1.3目标函数1.4加法训练1.5使用泰勒级数近似目标函数1.6定义单棵树1.7确定树的形状1.7.1精确贪心分裂算法1.7.2基于直方图的近似方法1.7.3实现代码2.LightGBM实现代码1.XGBoostXGBoost是对GBDT的改进与工程实现,其本质上还是GBDT。区别就在于又一次改进了目标函数。实现分布式梯度增强计算,力争将速度与效率发挥到原创 2021-04-26 22:15:36 · 137 阅读 · 0 评论 -
集成学习-提升决策树(回归)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档集成学习-提升决策树(回归)残差提升决策树梯度提升决策树残差提升决策树提升方法实际是采用加法模型(基模型的线性组合)与前向分步算法来将弱学习器变为强学习器。而其中以决策树为基函数的提升方法就是提升树。集成学习本身可以完成分类与回归两种任务。与adaboost分类相比,若仍然使用决策树作为基模型,则必须对统计学习三要素(模型,策略,算法)中的模型与策略都进行改变。adaboost的基模型为分类树,策略即损失函数为指数损失函数,算法为前向原创 2021-04-23 22:54:15 · 395 阅读 · 0 评论 -
集成学习-boosting
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档集成学习-boosting前言boosting方式的思路adaboostadaboost原理adaboost性能分析前言boosting方法主要是对同一组数据进行反复训练,通过调整数据权重,得到一系列弱学习器,最后使用一些决策方式将这些弱学习器结合,组成一个强学习器。这种集成方法主要是通过降低模型偏差、增高模型复杂度的方式来提升预测效果。boosting方式的思路以一个例子来说明boosting方式。三个同班学生(弱学习器)完成原创 2021-04-20 22:28:25 · 1208 阅读 · 0 评论 -
集成学习-bagging
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档集成学习-bagging前言原理分析案例分析前言 根据个体学习器的生成方式,可以将集成学习大致的分为两类,一类是个体学习器间内存在强依赖关系、必须串行的方法(boosting等),另一类是个体学习器间不存在请依赖关系、可以同时生成并行化的方法(bagging、随机森林等)。不同于投票法,bagging方法既能采用结合策略,也能通过影响基模型训练(保证基模型服从一定的假设),达到影响原创 2021-04-17 22:10:50 · 649 阅读 · 1 评论