- Ensemble Learning
- 集成学习:不是一个特定的算法,而是一个大的算法框架门类
- 例如集体决策
- 集成学习:不是一个特定的算法,而是一个大的算法框架门类
- What is ensemble learning?
- 思路:先要有策略得生成N个分类器,再把它们结合到一起,即经过精心挑选的“人”,让他们回答特定的问题,根据大家共同的答案做出最后的判断
- 使用继承学习的原因
- 模型不够强大,需要提高它的performance(例如,准确率89%-95%),可以多找几个“人”做这件事
- model selection问题(例如不同的初始值训练出的神经网络不同,到底用哪个?)
- 集成学习因为有很多分类器又被叫做多分类器系统,集成学习的类型笼统的讲可分为以下两大算法门类(它们里面还有很多很多的算法):
- Bagging
- Boosting
- Algorithm Hierarchy(算法层次结构)
- 机器学习
- 监督的
- 分类问题
- 单分类器
- SVM支持向量机、DT决策树、NN最近邻
- 多分类器(集成学习)
- Bagging
- Boosting
- 单分类器
- 分类问题
- 半监督的
- 无监督的
- 聚类
- 监督的
- 机器学习
- Combination of Classifiers
- 需要解决的问题:
- 怎么找到这些分类器
- 如何Combine每个分类器的结果
- 需要解决的问题:
- Model Selection
- 例如每次随机抽取70%训练,每次不同的训练数据集会导致分类器的分界面不同,每个分类器都有一些误判,如何选择分类器?
- 取平均后的分类器比原来每一个分类器都要好,因为它完美分开了三类样本,且是平滑曲线
- Divide and Conquer(分而治之)
- 将一个大问题切成小问题,更容易解决,例如图中思路为:复杂的分界面可以由多个简单的分界面拟合
9.1民主协商:Ensemble
最新推荐文章于 2024-08-20 13:13:08 发布