集成学习
送你上西天
这个作者很懒,什么都没留下…
展开
-
集成学习——Bagging
1.1.1. BaggingBagging也叫自举汇聚法(bootstrap-aggregating),是一种在原始数据集上通过有放回抽样重新选出S个新数据集来训练分类器的集成技术。也就是说这些新数据集是允许重复的。使用训练出来的分类器集合来对新样本进行分类,然后用多数投票或者对输出求均值的方法统计所有分类器的分类结果,结果最高的类别即为最终标签。1.1.1.1. 随机森林其基本思想就是构造很多棵...原创 2018-07-15 20:51:40 · 808 阅读 · 0 评论 -
集成学习——Boosting之Ada-boost
1.1.1. Boostingboosting是一个迭代的过程,用于自适应地改变训练样本的分布,使得基分类器聚焦在那些很难分的样本上。boosting会给每个训练样本赋予一个权值,而且可以再每轮提升过程结束时自动地调整权值。开始时,所有的样本都赋予相同的权值1/N,从而使得它们被选作训练的可能性都一样。根据训练样本的抽样分布来抽取样本,得到新的样本集。然后,由该训练集归纳一个分类器,并用它对原数据...原创 2018-07-16 08:47:48 · 1539 阅读 · 0 评论 -
集成学习——Boosting之提升树(Boosting tree)、梯度提升树(GBDT)、XGBoost
提升树是以回归树为基本分类器的提升方法。以决策树为基函数的提升方法称为提升树(boosting tree)。对分类问题决策树是分类树,对回归问题决策树为回归树。首先定义决策树用公式表示。提升树算法:1.首先确定初始提升树;2.第二个提升树第三个提升树……推出:3.回忆一下CART回归树,它是采用平方误差损失函数最小来决定最佳分类点,,CART的优化模型为,就是这个最佳分类点...原创 2018-07-16 08:47:35 · 5116 阅读 · 1 评论