集成学习
集成学习
珞沫
欲望以提升热忱,毅力以磨平高山。
展开
-
机器学习笔记28——Boosting方法之CatBoost算法原理及python实战
CatBoost算法引言1、CatBoost简介2、CatBoost原理2.1 类别型特征处理2.1.1 类别型特征常规工程操作引言\quad \quadCatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库,是Boosting族算法的一种。CatBoost和XGBoost、LightGBM并称为GBDT的三大主流神器,都是在GBDT算法框架下的一种改进实现。XGBoost被广泛的应用于工业界,LightGBM有效的提升了GBDT的计算效率,而Yandex的CatBoost号称是比原创 2020-12-04 17:54:26 · 2002 阅读 · 0 评论 -
机器学习笔记27——Boosting方法之LightGBM算法原理及python实战
LightGBM算法引言1、LightGBM原理引言\quad \quadGBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型,其主要思想是利用弱分类器(决策树)迭代训练以得到最优模型,该模型具有训练效果好、不易过拟合等优点。GBDT 在工业界应用广泛,通常被用于点击率预测,搜索排序等任务。虽然传统的boosting算法(如GBDT和XGBoost)已经有相当好的效率,但是在如今的大样本和高维度的环境下,传统的boosting似乎在效率和可扩展性上原创 2020-11-27 15:10:55 · 1610 阅读 · 0 评论 -
机器学习笔记25——Bagging算法之随机森林(Rondoom Forest) 算法原理以及python实现
随机森林引言1、概述引言\quad \quad在集成学习简介中,简单的介绍了根据个体学习器学习方式不同划分的两大类集成学习方法,个体学习器间存在强依赖关系、必须串行生成的序列化方法,如Boosting;个体学习器间不存在强依赖关系、可同时生成的并行化方法,如Bagging。下面详细的说明一下Bagging 算法的进化版随机森林算法。1、概述随机森林(Random Forest, RF)可以看成是改进的Bagging算法,它可以更好地解决决策树的过拟合问题。随机森林以CART树作为基分类器,对比决策树原创 2020-08-29 10:33:14 · 644 阅读 · 0 评论 -
机器学习笔记23——集成/提升(Boosting)系列算法之XGBoost 算法原理以及python实现
XGBoost 算法1、概述2、基础知识,GBDT1、概述全称:eXtreme Gradient Boosting (极限梯度提升)作者:陈天奇(华盛顿大学博士)基础:GBDT所属:boosting迭代型、树类算法。适用范围:分类、回归优点:速度快、效果好、能处理大规模数据、支持多种语言、支 持自定义损失函数等等。缺点:发布时间短(2014),工业领域应用较少,待检验2、基础知识,GBDT\quad \quadXGBoost是在GBDT的基础上对boosting算法进行的改进,对比原算法原创 2020-08-13 20:44:06 · 1205 阅读 · 0 评论 -
机器学习笔记22——集成/提升(Boosting)系列算法之GBDT 算法原理以及python实现
GBDT算法引言1、概述GBDT 算法引言\quad \quad在集成学习原理一文中,简单的介绍了根据个体学习器学习方式不同划分的两大类集成学习方法;在Boosting方法中介绍了其核心思想;在Adaboost算法一文中,介绍了Boosting家族的一个重要算法Adaboost,????回顾一下集成方法: 集成算法,是一种提高弱分类算法准确度的方法,将多个弱分类算法(也叫做基学习器)以一定的集成方式集合在一起,然后再将弱分类器的结果以一定的融合策略融合成一个结果,作为最终的结果输出。boosting原创 2020-08-13 10:24:37 · 716 阅读 · 0 评论 -
机器学习笔记20——集成/提升(Boosting)系列算法之提升树(BDT) 算法原理以及python实现
提升树1、概述2、提升树模型3、提升树算法3.1 分类问题的提升树算法3.2 回归问题的提升树算法1、概述\quad \quad提升树,又称提升决策树 (BDT,Boosting Decision Tree)。2、提升树模型\quad \quad以决策树为基函数的提升方法称为提升(决策)树(BDT)。对分类问题决策树是二叉分类树;对回归问题决策树是二叉回归树 提升决策树模型可以表示为决策树的加法模型:fM(x)=∑m=1MT(x;Θm)(1.1)f_M(x)=\sum_{m=1}^M原创 2020-08-12 10:34:08 · 1079 阅读 · 0 评论 -
机器学习笔记19——集成/提升(Boosting)系列算法之AdaBoost 算法原理以及python实现
Adaboost 算法1、概述2、基本思想3、算法三级目录1、概述AdaBoost(adapt boost),自适应推进算法:Adaboost算法是机器学习中一种比较重要的特征分类算法,已被广泛应用人脸表情识别、图像检索等应用中。就目前而言,对Adaboost算法的研究以及应用大多集中于分类问题,在一些回归问题上也有所应用。Adaboost主要解决的问题有: 两类问题、多类单标签问题、多类多标签问题、回归问题。2、基本思想1)如何改变训练数据的权值或概率分布?提高被弱分类器错分样本的权值,降低正原创 2020-08-11 18:30:23 · 1483 阅读 · 1 评论 -
机器学习笔记18——集成学习系列——集成/提升(Boosting)方法原理以及系列算法
Boosting 方法1、概述2、原理2.1 加法模型2.2 前向分布算法3、系列算法3.1 AdaBoost 算法1、概述\quad \quadBoosting是一种用来提高弱分类算法准确度的方法(集成学习方法),通过反复修改训练数据的权值分布,构建一系列基本分类器(弱分类器),并将这些基本分类器线性组合,构成一个强分类器。包括Adaboost算法、提升树、GBDT算法。强学习器:根据得到的弱学习机和相应的权重给出假设(最大程度上符号实际情况)根据天气以往的预测表现及实际天气情况做出综合准确的天原创 2020-08-10 21:36:21 · 1618 阅读 · 0 评论 -
机器学习笔记17——集成学习(ensemble learning)简介
Boosting 方法1、概述2、原理2.1 加法模型2.2 前向分布算法3、系列算法3.1 AdaBoost 算法1、概述\quad \quadBoosting是一种用来提高弱分类算法准确度的方法(集成学习方法),通过反复修改训练数据的权值分布,构建一系列基本分类器(弱分类器),并将这些基本分类器线性组合,构成一个强分类器。包括Adaboost算法、提升树、GBDT算法。强学习器:根据得到的弱学习机和相应的权重给出假设(最大程度上符号实际情况)根据天气以往的预测表现及实际天气情况做出综合准确的天原创 2020-08-10 20:35:57 · 1127 阅读 · 0 评论