HBoost: A heterogeneous ensemble classifier based on the Boosting method and entropy measurement

于 2020-12-10 21:41:28 发布
阅读量286 收藏 1
点赞数
分类专栏： 论文 文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Frost_Bite/article/details/109258184
版权

期刊：Expert Systems with Applications （2020 计算机科学 2区）

文章介绍了一种基于AdaBoost.M1改进的、由多种不同算法生成的弱分类器构成的集成学习（ensemble learning）算法。

特点

无需人工根据数据特点选择相应的基分类器；

自动选取最优的基分类器数量；

在多个数据集中拥有优异的准确率（Accuracy）与几何均值（Geometric Mean）；

且其的两个指标相比常见方法（Bagging、AdaBoost、Stacking等）有很大的提升。

算法步骤

HBoost 的 Heterogeneous 体现在算法选取了多种不同的 learning algorithm 来构造出具有较大差异性（diversity）的弱分类器。

文中将数据集分为10份，8份作为训练集用于弱分类器的训练，1份作为验证集用于计算熵，1份作为测试集。算法的流程如下：

  • 选取 L 种不同的 learning algori
最低0.47元/天 解锁文章
Frost_Bite
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Attribute Reduction for Heterogeneous Data Based on the Combination of Classical and Fuzzy Rough Set Models
02-09
Attribute reduction with rough sets aims to delete superfluous condition attributes from a decision system by considering the inconsistency between condition attributes and the decision labels....
＜机器学习＞＜详解＞Ensemble 集成学习算法
recowng的博客
09-18 1907
Ensemble 集成学习 什么是集成学习思想？ 将多个分类器的预测结果结合起来 用来组合的分类器叫做 基分类器(base classifiers) Ensembles通常比组成他的基分类器效果好 我们使用投票(少数服从多数)或加权投票来决定最终结果 Example: 训练KNN，朴素贝叶斯，逻辑回归这三种分类器 对一个新样本分类时，结合三个分类器的结果，少 数服从多数 集成学习的错误率: 当一个ensemble由25个相同的基分类器组成，那么 他的错误率就等于基分类器的错误率.
Ensemble算法
AAAAAAAKing的博客
03-26 3106
What's up everybody, welcome back to my channel! hi，how are ya ! 上周跟大家分享了随机森林算法的应用，这周我准备把Ensemble算法原理跟大家分享一下（有些地方会解释的不太清楚，见谅 ），主要参考的是台大李宏毅教授的机器学习课程。李宏毅教授讲机器学习和深度学习课程个人认为还是非常不错的，如果各位感兴趣的话可以直接去搜索一下。 ...
《机器学习》学习笔记（二十二）—Ensemble（模型集成）
时光机的学习博客
05-07 679
模型集成的框架 每种分类器都应该有自己的位置 Ensemble：Bagging 1、偏置与方差的关系 除了可以很完美进行工作的机器学习模型，剩下的模型大致可以分为两种情况，即欠拟合（Underfitting）和过拟合（Overfitting）。欠拟合的特点在于它具有比较小的方差，但是却有着比较大的偏置（即与正确答案的偏离方向）；而过拟合虽然有着较小的偏置，但是却有着较大的方差，将这两种情况画...
sklearn.ensemble.RandomForestClassifier随机森林rf参数详细解读
ustbbsy的博客
03-13 1万+
导入模块： from sklearn.ensemble import RandomForestClassifier 主要参数： RandomForestClassifier( n_estimators=10, criterion=’gini’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weigh...
集成(Ensemble)学习_原理
zhaodeming000的博客
05-26 657
集成学习 从线性规划、多元线性回归、决策树、支持向量机SVM，都是单一的、独立的。 ==集成学习：==组合多个学习器，得到一个更好的学习器； 集成学习 1.个体学习器之间不存在强依赖关系，装袋（bagging） 2.随机森林（Random Forest） 3.个体学习器之间存在强依赖关系，提升（boosting） 4.Stacking ...
论文研究-A Heterogeneous Data Integration System Based on RMI and AOP.pdf
08-20
A Heterogeneous Data Integration System Based on RMI and AOP，王鸿蒙，宋美娜，With the development and prevalence of the internet technology, the communication and information sharing between ...
3D Model Classification and Retrieval Method Using LDA Based on Heterogeneous Features
02-11
3D Model Classification and Retrieval Method Using LDA Based on Heterogeneous Features
A Computational Method Based on the Integration of Heterogeneous Networks for Predicting Disease-Gene Associations
02-11
A Computational Method Based on the Integration of Heterogeneous Networks for Predicting Disease-Gene Associations
Bias-drift-free Mach–Zehnder modulators based on a heterogeneous silicon and lithium niobate platform
01-25
However, DC bias drift is a major drawback of optical modulators using lithium niobate as the active electro-optic material. Here, we demonstrate high-speed and bias-drift-free Mach–Zehnder ...
Scikit-Learn 集成方法（Ensemble method） 学习
夜晓楼的博客
03-18 1万+
集成算法的目标是：组合几个基学习器的预测，以此来提高单个模型的泛化性和健壮性 集成方法常分为两类： averging methods：平均法的原则是： 独立的构建几个学习器，然后平均他们的预测。通常，组合的学习器要比任何一个单个的学习器要好，因为它降低了方差。           其中的代表：bagging 方法，随即森林 boosting methods：学习器依次构建，试图降低
4、ensemble组合方法
军军的专栏
02-11 3993
ensemble组合方法 1、ensemble概念 通过聚合多个分类器的预测来提高分类的准确率，这种技术称为组合方法(ensemble method) 。组合方法由训练数据构建一组基分类器，然后通过对每个基分类器的预测进行权重控制来进行分类。 Ensemble技术在数据挖掘的三个方向： 1.在样本上做文章，基分类器为同一个分类算法，主要的技术有bagging，boosting； 2.在分
几种Boost算法的比较(Discrete AdaBoost, Real AdaBoost, LogitBoost, Gentle Adaboost)
weixin_30437847的博客
07-04 764
关于boost算法 　　boost算法是基于PAC学习理论（probably approximately correct）而建立的一套集成学习算法(ensemble learning)。其根本思想在于通过多个简单的弱分类器，构建出准确率很高的强分类器，PAC学习理论证实了这一方法的可行性。下面关于几种Boost算法的比较，是基于文章《Additive Logistic Regressi...
集成学习(Ensemble)算法介绍
haoran_yang的博客
10-25 2523
Ensemble Model Bagging和Boosting都算是Bootstraping的应用。Bootstraping的概念是对样本每次有放回的抽样，抽样K个，一共抽N次。 Bagging：每次从总体样本中随机抽取K个样本来训练模型（有放回），重复N次，得到N个模型（++独立构建++），然后将各个模型结果合并，分类问题投票方式结合，回归则是取平均值,e.g.Random Forest。...
模型集成（Ensemble）
dugudaibo的博客
01-24 2万+
1. 模型集成的框架   模型集成的框架是这样的，有很多种分类器，它们应该是不同的，可以是不同的机器学习方法，也可以是相同的方法。但是它们应该是互补的，也就是说不是互相相似的。没有重分类器都应该有自己的位置。 2. Ensemble：Bagging   在本节中会以某一种机器学习方法举例，但是实际上这种集成方法适用于任何的机器学习方法。 2.1 回顾偏置与方差的关系   偏置与方
Ensemble learning 集成学习（二）
Take it easy
10-19 5987
No4.Grandient Boosting gradient boosting（又叫Mart, Treenet)：Boosting是一种思想，Gradient Boosting是一种实现Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。loss function（损失函数）描述的是模型的不靠谱程度，损失函数越大，则说明模型越容易出错（其实这里有一个方差
简单易学的机器学习算法——集成方法(Ensemble Method)
热门推荐
null的专栏
06-16 4万+
一、集成学习方法的思想     前面介绍了一系列的算法，每个算法有不同的适用范围，例如有处理线性可分问题的，有处理线性不可分问题。在现实世界的生活中，常常会因为“集体智慧”使得问题被很容易解决，那么问题来了，在机器学习问题中，对于一个复杂的任务来说，能否将很多的机器学习算法组合在一起，这样计算出来的结果会不会比使用单一的算法性能更好？这样的思路就是集成学习方法。     集成学习方法是指组合多
Ensemble Learning（集成学习--AdaBoost，GBDT，Xgboost等）
nakaizura
10-14 3678
集成学习原理，Python实现，应用。所谓兼听则明，偏信则暗。集成学习本身并不是一个单纯的新算法，它的目的是通过结合多个其他的机器学习模型来完成某个一个任务以提升最终结果的准确率，即三个臭皮匠赛过诸葛亮。从该思想出发自然可以想到，如何得到多个机器学习模型？又如何整合？基于此，集成学习也就有了多种形态。如果对不同类别.......
sklearn中集成学（Ensemble methods）习部分（上）
小强强的博客
01-25 8707
1.11 集成方法（Ensemble methods） ▲集成方法的目的是集合多种基本的预测模型，以提高单一模型的泛化能力和鲁棒性。 ▲两种类型的集成方法：      •平均估计：主要原理平均几个独立预测模型的预测结果。通常，该模型主要是以减小方差为目的，因此结合的预测结果比任何一个单一的预测结果都好。比如：Bagging，随机森林等。       •boosting方法：该集成方法
什么是HITOC 技术（Heterogeneous Integration Technology on Chip）
最新发布
06-13
HITOC技术（Heterogeneous Integration Technology on Chip）是一种将不同的功能模块集成到单个芯片上的技术。这种技术可以将数字、模拟、射频、传感器和其他功能集成到一个芯片上，以提高性能、降低成本和减小尺寸。HITOC技术可以在同一芯片上集成多个处理器核心、内存、传感器、通信模块和其他组件，从而实现更复杂的系统。这种技术通常使用三维封装、芯片堆叠、裸片互联和其他高级封装方法来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值